Hallo zusammen,
vor dem Wochenende hier noch ein Update zu den aktuellen Arbeiten und Abnahmetests der datastorage.nrw Systeme.
Aber bevor es zu den Infos geht, wollte ich mich einmal für die bis jetzt geleistete Arbeit aller Beteiligten bedanken!
Ohne die Hilfe aller Mitwirkenden an allen Standorten, könnten wir dies alles nicht machen. Danke!
So und nun zu den Infos:
Was bisher geschah:
Nachdem die Systeme an allen Standorten aufgebaut und erreichbar waren, haben die Huawei Techniker (Benjamin und Ma)
die Systeme von Aachen aus konfiguriert und helfen weiter dabei alles bestmöglich zu optimieren.
Wir haben in dieser Woche getestet, wie schnell wir 100TB auf die Storage Systeme kopieren können und
wie lange die Replikation zu den anderen Standorten dauert.
Das Kopieren der 100 TB auf das System in Aachen wurde in beiden Fällen in 10 – 10,5 Stunden abgeschlossen.
Test 1: 14:15 Uhr – 00:45 Uhr
Test 2: 14:10 Uhr – 00:20 Uhr
In beiden Tests wurden die Daten mit durchschnittlich 2,5 - 2,6 GB/s auf das System in Aachen kopiert.
Huawei nutzt in der GUI TB für TiB weshalb in dort dann nicht 100TB sondern 90.949TB angezeigt werden.
Wie bereits erwartet, richtet sich die Replikationsperformance aller Standorte, nach der Anbindung des jeweils langsamsten Replikationsziels.
Daraus ergibt sich, dass alle Replikationsstandorte mit nahezu der gleichen Geschwindigkeit die Daten erhalten.
Im ersten Test, mit allen 4 Standorten, wurden die Daten mit ca. 386MB/s repliziert.
Dieser Test wurde dann vorzeitig beendet um den 2. Test starten zu können.
Der 2. Test wurde mit 3 Standorten durchgeführt, wobei die Daten dann von Aachen aus an die beiden anderen Standorte repliziert wurden.
Ca. 30 Minuten nachdem wir die ersten Daten in das System kopiert hatten, startete die Replikation zu den anderen Standorten.
Nach 16 Stunden und 20 Minuten (14:40 Uhr – 07:00 Uhr) war die Replizierung der 100TB an die beiden Standorte abgeschlossen.
Hier wurden in spitzen Zeiten mit bis zu 1GB/s die Daten repliziert. (In der Zeit von 18 – 06:00 Uhr)
In den Logs konnte dann noch festgestellt werden, dass die Verbindungsqualität zwischen den einzelnen Replikationsstandorten schwankt,
was dazu führte, dass viele Replikationsaufgaben das Zeitlimit überschritten und fehlschlugen und erneut gesendet werden mussten (die Latenzzeit betrugt teilweise mehr als 7s)
Dies muss im Nachgang noch weiter analysiert werden.
Die Replikationsgeschwindigkeit hängt von verschiedenen Faktoren ab.
Neben der generellen Netzanbindung der einzelnen Standorte kommt noch die Verbindungsqualität, Auslastung und die Paketgröße der zu übertragenden Daten hinzu.
Nächste Woche gehen die Tests weiter.
Noch mal ein großes Danke an alle!
Viele Grüße,
Gerard
Und hier noch ein paar Screenshots:
--
Gerard Lemoine
IT Center
Gruppe: Server, Storage, HPC
Abteilung: Systeme und Betrieb
RWTH Aachen University
Seffenter Weg 23
52074 Aachen
Tel: + 49 241 80-24873
Social Media Kanäle des IT Centers:
https://blog.rwth-aachen.de/itc/
https://www.facebook.com/itcenterrwth
https://www.linkedin.com/company/itcenterrwth
https://twitter.com/ITCenterRWTH
https://www.youtube.com/channel/UCKKDJJukeRwO0LP-ac8x8rQ