TIP: snellere backup/sync met Robocopy Multi-threaded!

Windows, Android, iOS, Linux, Chrome OS, ...
Plaats reactie
Ernie
Elite Poster
Elite Poster
Berichten: 1047
Lid geworden op: 08 jun 2011, 06:35
Uitgedeelde bedankjes: 302 keer
Bedankt: 57 keer

Deze wil ik hier graag delen...

Voor degenen die het niet kennen/weten: op Windows heb je de mogelijkheid om met Robocopy bestanden/mappen te kopiëren/synchroniseren en zelfs over het netwerk.
In principe is het enkel via command line te gebruiken maar ben ooit ook gratis GUI's tegengekomen, echter niet getest.

Door een 'Command Prompt' venster te openen en daar 'robocopy /?' te typen krijg je de meeste opties te zien.
Wat ik echter nu pas en toevallig ben tegengekomen is dat met de '/MT:' switch je Multi Threaded kan kopiëren/synchroniseren en dat gaat een pak sneller.
Hier wat info daarover: https://pureinfotech.com/robocopy-multi ... indows-10/ (werkt ook op oudere Windows versies)

Nog dit: je kan rechtstreeks naar een share schrijven door naar '\\IP of hostnaam\share' te verwijzen als doel. (mits toegang natuurlijk)
Laatst gewijzigd door Ernie 24 apr 2020, 00:42, in totaal 1 gewijzigd.
Heppie NY!
ITnetadmin
userbase crew
userbase crew
Berichten: 9525
Lid geworden op: 28 jan 2012, 18:22
Uitgedeelde bedankjes: 241 keer
Bedankt: 761 keer
Recent bedankt: 2 keer

Ik zweer nog regelmatig bij robocopy voor shadow copies.
Collegas vinden mij archaisch en "niet mee met de tijd" soms, maar if it ain't broken... ;-)
Ernie
Elite Poster
Elite Poster
Berichten: 1047
Lid geworden op: 08 jun 2011, 06:35
Uitgedeelde bedankjes: 302 keer
Bedankt: 57 keer

Kende jij die MT switch?

Ik maak er al langer gebruik van en ook al meermaals naar info over de switches gezocht maar was deze nog nooit tegengekomen.
Heppie NY!
Gebruikersavatar
heist_175
Moderator
Moderator
Berichten: 16384
Lid geworden op: 07 okt 2010, 09:35
Locatie: Kempen
Uitgedeelde bedankjes: 519 keer
Bedankt: 1195 keer
Recent bedankt: 16 keer

robocopy C:\Users\admin\Documents D:\Users\admin\Documents /S /E /Z /ZB /R:5 /W:5 /TBD /NP /V /MT:32
Zéér gebruiksvriendelijk :?
Ik zou eerder een switch verwachten: "gebruik vanaf nu Robocopy als default handler"
DarkV
Elite Poster
Elite Poster
Berichten: 4328
Lid geworden op: 17 apr 2019, 11:47
Uitgedeelde bedankjes: 130 keer
Bedankt: 173 keer
Recent bedankt: 1 keer

Ernie schreef:Wat ik echter nu pas en toevallig ben tegengekomen is dat met de '/MT:' switch je Multi Threaded kan kopiëren/synchroniseren en dat gaat een pak sneller.
Verbaast me een beetje want de disk IO is normaal de bottleneck... niet het aantal threads.
profke
Pro Member
Pro Member
Berichten: 275
Lid geworden op: 14 aug 2010, 23:42
Uitgedeelde bedankjes: 14 keer
Bedankt: 24 keer

vooral bij copieren van locaal naar \\servername\mappeke of omgekeerd doet die multithreaded wonderen..

in mijn job heb ik een keer factor 20 gerealiseerd hiermee.
letterlijk het syncen van ~100.000 files van samen 200 mbyte overheen een 10 mbit lijn over 100 km

in de klassieke manier : 4 uur
in de robocopy/mt: manier was dit <= 10 minuten.
Gebruikersavatar
Sasuke
userbase crew
userbase crew
Berichten: 5739
Lid geworden op: 13 aug 2003, 20:25
Locatie: Vlaanderen
Uitgedeelde bedankjes: 250 keer
Bedankt: 550 keer
Recent bedankt: 5 keer
Provider
Te Koop forum

gebruik ik al jaren, heb zelf mijn eigen synch framework rond robocopy geschreven en gebruikt bij verschillende klanten en migraties. miljoenen files en ettelijke TB's zijn zo geen issue meer. /MT is trouwens by default al in gebruik met 8 threads he.
Who the fxxk is General Failure and why is he reading my hard disk ?
Afbeelding
Gebruikersavatar
meon
Administrator
Administrator
Berichten: 16757
Lid geworden op: 18 feb 2003, 22:02
Twitter: meon
Locatie: Bree
Uitgedeelde bedankjes: 582 keer
Bedankt: 780 keer
Provider

Iemand heeft volgens mij de post op Reddit gezien deze week die hier over ging :-).

Robocopy is overigens ook de "officiële" oplossing om via PowerShell paden van langer dan 256 tekens te kopiëren, want PowerShell zélf ondersteunt dat niet :(.

Switches /R:5 /W:5 kan je overigens in het register opslaan als default met /REG, want default staat dat op 1 miljoen retries... 't Zou niet de eerste keer zijn dat ik dat vergeet op een nieuwe server en een dag later merk dat amper files gekopieerd zijn.
Ernie
Elite Poster
Elite Poster
Berichten: 1047
Lid geworden op: 08 jun 2011, 06:35
Uitgedeelde bedankjes: 302 keer
Bedankt: 57 keer

Neen toch niet, puur toeval. :wink:

Ik moest onlangs nogal wat data (vooral véél bestanden) overzetten en ik was weer eens verbaasd hoe snel dat ging.

Gebruik ook SyncBackFree voor standaard, dagelijkse synchronisatie en dat is volgens mij toch gevoelig trager maar door de GUI, uitgebreide opties en de mogelijkheid om profielen te maken naar mijn mening beter hiervoor geschikt.
Heppie NY!
Gebruikersavatar
meon
Administrator
Administrator
Berichten: 16757
Lid geworden op: 18 feb 2003, 22:02
Twitter: meon
Locatie: Bree
Uitgedeelde bedankjes: 582 keer
Bedankt: 780 keer
Provider

Voor dat laatste gebruik ik GoodSync, al heb ik nog niet vergeleken hoe performant die is tov bvb Robocopy.
Plaats reactie

Terug naar “Software en apps”