2024

Admin.datastorage.nrw August 2024

admin.datastorage.nrw@lists.rwth-aachen.de

1 participants
2 discussions

by Lemoine, Gerard

Hallo zusammen, vor dem Wochenende hier noch ein Update zu den aktuellen Arbeiten und Abnahmetests der datastorage.nrw Systeme. Aber bevor es zu den Infos geht, wollte ich mich einmal für die bis jetzt geleistete Arbeit aller Beteiligten bedanken! Ohne die Hilfe aller Mitwirkenden an allen Standorten, könnten wir dies alles nicht machen. Danke! So und nun zu den Infos: Was bisher geschah: Nachdem die Systeme an allen Standorten aufgebaut und erreichbar waren, haben die Huawei Techniker (Benjamin und Ma) die Systeme von Aachen aus konfiguriert und helfen weiter dabei alles bestmöglich zu optimieren. Wir haben in dieser Woche getestet, wie schnell wir 100TB auf die Storage Systeme kopieren können und wie lange die Replikation zu den anderen Standorten dauert. Das Kopieren der 100 TB auf das System in Aachen wurde in beiden Fällen in 10 10,5 Stunden abgeschlossen. Test 1: 14:15 Uhr 00:45 Uhr Test 2: 14:10 Uhr 00:20 Uhr In beiden Tests wurden die Daten mit durchschnittlich 2,5 - 2,6 GB/s auf das System in Aachen kopiert. Huawei nutzt in der GUI TB für TiB weshalb in dort dann nicht 100TB sondern 90.949TB angezeigt werden. Wie bereits erwartet, richtet sich die Replikationsperformance aller Standorte, nach der Anbindung des jeweils langsamsten Replikationsziels. Daraus ergibt sich, dass alle Replikationsstandorte mit nahezu der gleichen Geschwindigkeit die Daten erhalten. Im ersten Test, mit allen 4 Standorten, wurden die Daten mit ca. 386MB/s repliziert. Dieser Test wurde dann vorzeitig beendet um den 2. Test starten zu können. Der 2. Test wurde mit 3 Standorten durchgeführt, wobei die Daten dann von Aachen aus an die beiden anderen Standorte repliziert wurden. Ca. 30 Minuten nachdem wir die ersten Daten in das System kopiert hatten, startete die Replikation zu den anderen Standorten. Nach 16 Stunden und 20 Minuten (14:40 Uhr 07:00 Uhr) war die Replizierung der 100TB an die beiden Standorte abgeschlossen. Hier wurden in spitzen Zeiten mit bis zu 1GB/s die Daten repliziert. (In der Zeit von 18 06:00 Uhr) In den Logs konnte dann noch festgestellt werden, dass die Verbindungsqualität zwischen den einzelnen Replikationsstandorten schwankt, was dazu führte, dass viele Replikationsaufgaben das Zeitlimit überschritten und fehlschlugen und erneut gesendet werden mussten (die Latenzzeit betrugt teilweise mehr als 7s) Dies muss im Nachgang noch weiter analysiert werden. Die Replikationsgeschwindigkeit hängt von verschiedenen Faktoren ab. Neben der generellen Netzanbindung der einzelnen Standorte kommt noch die Verbindungsqualität, Auslastung und die Paketgröße der zu übertragenden Daten hinzu. Nächste Woche gehen die Tests weiter. Noch mal ein großes Danke an alle! Viele Grüße, Gerard Und hier noch ein paar Screenshots: -- Gerard Lemoine IT Center Gruppe: Server, Storage, HPC Abteilung: Systeme und Betrieb RWTH Aachen University Seffenter Weg 23 52074 Aachen Tel: + 49 241 80-24873 Lemoine(a)itc.rwth-aachen.de <mailto:Lemoine@itc.rwth-aachen.de> www.itc.rwth-aachen.de <http://www.itc.rwth-aachen.de> Social Media Kanäle des IT Centers: https://blog.rwth-aachen.de/itc/ https://www.facebook.com/itcenterrwth https://www.linkedin.com/company/itcenterrwth https://twitter.com/ITCenterRWTH https://www.youtube.com/channel/UCKKDJJukeRwO0LP-ac8x8rQ

3 weeks, 1 day

Datastorage.nrw - Zertifikate

by Lemoine, Gerard

Hallo zusammen, damit wir die Datastorage.nrw-Systeme zukünftig auch mit möglichst wenig Aufwand und Overhead mit Zertifikaten versorgen können, bietet es sich an, dass diese am jeweiligen Standort durch die dortigen RA Verantwortlichen erstellt werden. Bei Sectigo wären dann folgenden Domaine zwecks Validierung einzutragen: Beispiel für UPB: upb.datastorage.nrw. *.upb.datastorage.nrw. Aufgrund der Sub-Zonen Delegationen bietet sich hier als Methode DNS Eintrag an. Dieser muss dann entsprechend Vorort eingetragen werden. Bei Fragen wendet euch bitte direkt an das RWTH-RA Team (ra(a)rwth-aachen.de). Danke und viele Grüße, Gerard -- Gerard Lemoine IT Center Gruppe: Server, Storage, HPC Abteilung: Systeme und Betrieb RWTH Aachen University Seffenter Weg 23 52074 Aachen Tel: + 49 241 80-24873 Lemoine(a)itc.rwth-aachen.de www.itc.rwth-aachen.de Social Media Kanäle des IT Centers: https://blog.rwth-aachen.de/itc/ https://www.facebook.com/itcenterrwth https://www.linkedin.com/company/itcenterrwth https://twitter.com/ITCenterRWTH https://www.youtube.com/channel/UCKKDJJukeRwO0LP-ac8x8rQ

3 weeks, 2 days

2024

Admin.datastorage.nrw August 2024 ----- 2024 ----- September 2024 August 2024 July 2024 June 2024 May 2024 April 2024 March 2024 February 2024 January 2024

Admin.datastorage.nrw August 2024