TIP: snellere backup/sync met Robocopy Multi-threaded!

Ernie
Premium Member
Premium Member
Berichten: 717
Lid geworden op: 08 Jun 2011
Bedankt: 40 keer
Uitgedeelde bedankjes: 187 keer

TIP: snellere backup/sync met Robocopy Multi-threaded!

Berichtdoor Ernie » 23 Apr 2020, 23:51

Deze wil ik hier graag delen...

Voor degenen die het niet kennen/weten: op Windows heb je de mogelijkheid om met Robocopy bestanden/mappen te kopiëren/synchroniseren en zelfs over het netwerk.
In principe is het enkel via command line te gebruiken maar ben ooit ook gratis GUI's tegengekomen, echter niet getest.

Door een 'Command Prompt' venster te openen en daar 'robocopy /?' te typen krijg je de meeste opties te zien.
Wat ik echter nu pas en toevallig ben tegengekomen is dat met de '/MT:' switch je Multi Threaded kan kopiëren/synchroniseren en dat gaat een pak sneller.
Hier wat info daarover: https://pureinfotech.com/robocopy-multi ... indows-10/ (werkt ook op oudere Windows versies)

Nog dit: je kan rechtstreeks naar een share schrijven door naar '\\IP of hostnaam\share' te verwijzen als doel. (mits toegang natuurlijk)
Laatst gewijzigd door Ernie op 24 Apr 2020, 00:42, 1 keer totaal gewijzigd.

ITnetadmin
Elite Poster
Elite Poster
Berichten: 8007
Lid geworden op: 28 Jan 2012
Bedankt: 587 keer
Recent bedankt: 2 keer
Uitgedeelde bedankjes: 138 keer

Re: TIP: snelle backup/sync met Robocopy Multi-threaded!

Berichtdoor ITnetadmin » 24 Apr 2020, 00:41

Ik zweer nog regelmatig bij robocopy voor shadow copies.
Collegas vinden mij archaisch en "niet mee met de tijd" soms, maar if it ain't broken... ;-)

Ernie
Premium Member
Premium Member
Berichten: 717
Lid geworden op: 08 Jun 2011
Bedankt: 40 keer
Uitgedeelde bedankjes: 187 keer

Re: TIP: snellere backup/sync met Robocopy Multi-threaded!

Berichtdoor Ernie » 24 Apr 2020, 00:45

Kende jij die MT switch?

Ik maak er al langer gebruik van en ook al meermaals naar info over de switches gezocht maar was deze nog nooit tegengekomen.

Gebruikersavatar
heist_175
Elite Poster
Elite Poster
Berichten: 9724
Lid geworden op: 07 Okt 2010
Locatie: Kempen
Bedankt: 701 keer
Recent bedankt: 15 keer
Uitgedeelde bedankjes: 385 keer

Re: TIP: snellere backup/sync met Robocopy Multi-threaded!

Berichtdoor heist_175 » 24 Apr 2020, 10:27

robocopy C:\Users\admin\Documents D:\Users\admin\Documents /S /E /Z /ZB /R:5 /W:5 /TBD /NP /V /MT:32

Zéér gebruiksvriendelijk :?
Ik zou eerder een switch verwachten: "gebruik vanaf nu Robocopy als default handler"

DarkV
Elite Poster
Elite Poster
Berichten: 1305
Lid geworden op: 17 Apr 2019
Bedankt: 60 keer
Recent bedankt: 3 keer
Uitgedeelde bedankjes: 52 keer

Re: TIP: snellere backup/sync met Robocopy Multi-threaded!

Berichtdoor DarkV » 24 Apr 2020, 10:27

Ernie schreef:Wat ik echter nu pas en toevallig ben tegengekomen is dat met de '/MT:' switch je Multi Threaded kan kopiëren/synchroniseren en dat gaat een pak sneller.


Verbaast me een beetje want de disk IO is normaal de bottleneck... niet het aantal threads.

profke
Plus Member
Plus Member
Berichten: 161
Lid geworden op: 14 Aug 2010
Bedankt: 17 keer
Recent bedankt: 1 keer
Uitgedeelde bedankjes: 6 keer

Re: TIP: snellere backup/sync met Robocopy Multi-threaded!

Berichtdoor profke » 24 Apr 2020, 19:22

vooral bij copieren van locaal naar \\servername\mappeke of omgekeerd doet die multithreaded wonderen..

in mijn job heb ik een keer factor 20 gerealiseerd hiermee.
letterlijk het syncen van ~100.000 files van samen 200 mbyte overheen een 10 mbit lijn over 100 km

in de klassieke manier : 4 uur
in de robocopy/mt: manier was dit <= 10 minuten.

Gebruikersavatar
Sasuke
Elite Poster
Elite Poster
Berichten: 3642
Lid geworden op: 13 Aug 2003
Locatie: Vlaanderen
Bedankt: 182 keer
Recent bedankt: 2 keer
Uitgedeelde bedankjes: 62 keer
Contact:

Re: TIP: snellere backup/sync met Robocopy Multi-threaded!

Berichtdoor Sasuke » 24 Apr 2020, 20:00

gebruik ik al jaren, heb zelf mijn eigen synch framework rond robocopy geschreven en gebruikt bij verschillende klanten en migraties. miljoenen files en ettelijke TB's zijn zo geen issue meer. /MT is trouwens by default al in gebruik met 8 threads he.
Logic - The art of being wrong with confidence !
Afbeelding

Gebruikersavatar
meon
Administrator
Administrator
Berichten: 16254
Lid geworden op: 18 Feb 2003
Twitter: meon
Locatie: Bree
Bedankt: 649 keer
Recent bedankt: 2 keer
Uitgedeelde bedankjes: 525 keer
Contact:

Re: TIP: snellere backup/sync met Robocopy Multi-threaded!

Berichtdoor meon » 24 Apr 2020, 20:08

Iemand heeft volgens mij de post op Reddit gezien deze week die hier over ging :-).

Robocopy is overigens ook de "officiële" oplossing om via PowerShell paden van langer dan 256 tekens te kopiëren, want PowerShell zélf ondersteunt dat niet :(.

Switches /R:5 /W:5 kan je overigens in het register opslaan als default met /REG, want default staat dat op 1 miljoen retries... 't Zou niet de eerste keer zijn dat ik dat vergeet op een nieuwe server en een dag later merk dat amper files gekopieerd zijn.

Ernie
Premium Member
Premium Member
Berichten: 717
Lid geworden op: 08 Jun 2011
Bedankt: 40 keer
Uitgedeelde bedankjes: 187 keer

Re: TIP: snellere backup/sync met Robocopy Multi-threaded!

Berichtdoor Ernie » 24 Apr 2020, 20:15

Neen toch niet, puur toeval. :wink:

Ik moest onlangs nogal wat data (vooral véél bestanden) overzetten en ik was weer eens verbaasd hoe snel dat ging.

Gebruik ook SyncBackFree voor standaard, dagelijkse synchronisatie en dat is volgens mij toch gevoelig trager maar door de GUI, uitgebreide opties en de mogelijkheid om profielen te maken naar mijn mening beter hiervoor geschikt.

Gebruikersavatar
meon
Administrator
Administrator
Berichten: 16254
Lid geworden op: 18 Feb 2003
Twitter: meon
Locatie: Bree
Bedankt: 649 keer
Recent bedankt: 2 keer
Uitgedeelde bedankjes: 525 keer
Contact:

Re: TIP: snellere backup/sync met Robocopy Multi-threaded!

Berichtdoor meon » 24 Apr 2020, 23:34

Voor dat laatste gebruik ik GoodSync, al heb ik nog niet vergeleken hoe performant die is tov bvb Robocopy.


Terug naar “Windows”

Wie is er online

Gebruikers op dit forum: Geen geregistreerde gebruikers en 1 gast