May 2025 - Admin.datastorage.nrw - lists.rwth-aachen.de

Re: DataStorage.NRW --> Abräumen alte Namespaces UDE durch Coscine
by Lemoine, Gerard 08 May '25

08 May '25

Hallo Marco, perfekt !!! Daaanke 😊 Kannst du uns bitte noch erläutern, was im Detail mit den Firewallfreigaben gemeint ist ? Gibt es da eine Kommunikationsmatrix zu ? * @ UDE, UPB und UZK: * bitte die Firewall für die TCP 443 und 9443 (Service Plane) für IPv4 & 6 freigeben * Aktuell sollte es nicht möglichsein die S3 Dienste, weder bei euch noch bei den anderen Standorten, von außen nutzen zu können. * Es geht um die Weltweite Freischaltung des Dienstes. Die Freischaltung wird nicht öffentlich bekannt gegeben! Es dient lediglich dazu, damit alles komplett getestet werden und dafür ist der Schritt nun notwendig. * Ein „soft go-live“ wenn man so will. * Ein Ausschnitt aus der Dokumentation habe ich mal angehangen, die Originaldatei ist hier zu finden https://gitlab.ruhr-uni-bochum.de/fds-nrw/datastorage.nrw-2024/-/blob/main/… Ich hoffe das hilft, wenn nicht ruf gerne an. Viele Grüße, Gerard Gruß, Gerard From: Horch, Marco <marco.horch(a)uni-due.de> Sent: Thursday, May 8, 2025 7:41 AM To: Lemoine, Gerard <Lemoine(a)itc.rwth-aachen.de> Cc: Karl, Johannes <johannes.karl(a)uni-due.de> Subject: AW: DataStorage.NRW --> Abräumen alte Namespaces UDE durch Coscine Hallo Gerard, eventuell können die Kolleg:innen vom Coscine Team die Namespaces bei uns nicht mehr identifizieren – ich habe mal eine Screenshot der Namespaces und die Namen auch in Text-Form kopiert. Kannst du die Info bitte weitergeben und ins Informieren, wenn diese geleert worden sind und wir die lokalen Namespaces löschen könne ? Kannst du uns bitte noch erläutern, was im Detail mit den Firewallfreigaben gemeint ist ? Gibt es da eine Kommunikationsmatrix zu ? * @ UDE, UPB und UZK: * bitte die Firewall für die TCP 443 und 9443 (Service Plane) für IPv4 & 6 freigeben Namen der Namespaces: ea94c922-a32c-4b68-a247-8c2bfb752898 10253617-fb34-4ae4-9d90-e03865322433 bc0f7362-0912-4f45-a237-346edd4a847c 55596d5b-8f6b-4363-9667-2a70ce299225 50ca9ab2-2bb8-4966-b70d-673224681e69 1edd5b95-e6fa-4c42-a21f-ac75d66fef58 Danke und Gruß Marco Mit freundlichen Grüssen Marco Horch -- Universität Duisburg-Essen Zentrum für Informations- und Mediendienste (ZIM) Geschäftsbereich IT-Infrastruktur Forsthausweg 2, D-47057 Duisburg Raum LE 023B Telefon: +49 203 379-4247 E-Mail: <mailto:marco.horch@uni-due.de> marco.horch(a)uni-due.de Von: Lemoine, Gerard <Lemoine(a)itc.rwth-aachen.de> Gesendet: Mittwoch, 7. Mai 2025 16:54 An: admin.datastorage.nrw(a)lists.rwth-aachen.de; Schramm, Georg <schramm(a)itc.rwth-aachen.de>; Eifert, Thomas <eifert(a)itc.rwth-aachen.de>; Wagner, Marcus <Wagner(a)itc.rwth-aachen.de>; Coscine <Coscine(a)itc.rwth-aachen.de> Cc: Petry, Miriam <Petry(a)itc.rwth-aachen.de>; Becker, Lena <l.becker(a)itc.rwth-aachen.de> Betreff: [Admin.datastorage.nrw] DataStorage.NRW - Update HGM Hallo zusammen, wir haben gerade die HyperGeoMetro (1:1) Konfiguration zwischen der UZK und UPB sowie RWTH und UDE abgeschlossen. Es gab noch ein paar Herausforderungen, die aber mit Geduld und der Hilfe aller Standorte und Huawei gelöst werden konnten. Was wurde gemacht? * Der Standort Köln wurde wieder in das DataStorage.NRW Netzwerkaufgenommen (siehe Screenshot Abb.01). * Auch wenn es danach aussieht, dass alle wieder so wie zu beginn ist, täuscht dies nur. Es gibt ein DataStorage.NRW Netzwerk in dem jetzt wieder alle Standorte (RWTH,UDE,UPB und UZK) enthalten sind. * In diesem Netzwerk können nun Replikations Gruppen verschiedner Art erstellt werden. Aktuell beschränken wir uns hier aber NUR auf das HGM in den 1:1 Pärchen! * Es wurden die Replikationspärchen (RWTH-UDE & UZK-UPB) gebildet (siehe Abb.02). * Dabei wurde zum Start für das Pärchen UZK – UPB (siehe Abb. 03) , eine asynchronen Replikation gewählt und UZK als Primären Knoten gewählt um das einliefern von Daten zu beschleunigen. * Diese Einstellungen können später angepasst werden! * Das Pärchen RWTH-UDE (siehe Abb.04) wurde mit einer synchronen Replikationen konfiguriert, dass heißt das jeder Datentransfer erst vollständig ist, wenn beide Seite den erfolgreichen Transfer bestätigt haben. Dies hat zufolge, dass dies im Vergleich zum asynchronen Verfahren langsamer sein kann. Wie langsam werden wir herausfinden. * Aber auch diese Einstellung kann man später wieder ändern. * Der Wechsel zwischen Synchron und Asynchron wurde auch direkt erfolgreich getestet! * Erste Test: * Anlegen von NameSpaces in der GUI im der Replication Group RWTH-UDE von Aachen aus war erfolgreich! * Löschen des NameSpaces von UDE aus über die GUI war erfolgreich * Anlegen eines Buckets in UZK-UPB über die GUI von Aachen aus war NICHT erfolgreich. * Es fehlten nach der Neuinstallation in Köln die Accounts, die auf allen anderen Systemen synchronisiert waren. Die Synchronisierung der Accounts wurde dann erfolgreich manuell angestoßen. * Das Erstellen über die GUI war damit aber weiterhin nicht möglich und Huawei hat uns darüber informiert, dass dies über die GUI aus Aachen nicht möglich sei und es nur über die API gehen würde. * Was folgt nun? * @ UDE, UPB und UZK: * bitte die Firewall für die TCP 443 und 9443 (Service Plane) für IPv4 & 6 freigeben * @CoSine Team : * bitte dringend Testen ob das Anlegen und löschen über die API in beiden Replikationsgruppen möglich ist!!! Die Namen der Replikationsgruppen lauten: RWTH-UDE und UZK-UPB * Das Anlegen neuer Accounts ist bis jetzt nicht notwendig gewesen. Es sollten also auch die bereits bekannten Zugangsdaten genutzt werden können. * Löschen der vorhanden NameSpaces / Buckets für die jeweiligen Accounts (coscine-production & Co.) * Teilweise liegen z.B. auf dem UDE System „lokale“ Buckets die erst geleert werden müssen bevor diese gelöscht werden können (diese werden auch nicht in der GUI in Aachen angezeigt!) * Huawei kann hier ggf. auch mit einem Script unterstützen * Testen der offiziellen URLs (globale.datastorage.nrw) für den Zugriff auf die Buckets Sollte ich was vergessen oder sich ein Fehler eingeschlichen haben, dann lasst es mich bitte zeitnah wissen. Gibt es Fragen oder ist etwas unklar? Dann meldet euch gerne bei mir. Danke an alle für Ihre Zeit, Geduld und unter Unterstützung!!! Viele Grüße Gerard Abb.01 Abb.02 Abb.03 Abb.04 Viele Grüße, Gerard -- Gerard Lemoine IT Center Gruppe: Server, Storage, HPC Abteilung: Systeme und Betrieb RWTH Aachen University Seffenter Weg 23 52074 Aachen Tel: + 49 241 80-24873 Lemoine(a)itc.rwth-aachen.de <mailto:Lemoine@itc.rwth-aachen.de> <http://www.itc.rwth-aachen.de> www.itc.rwth-aachen.de Social-Media-Kanäle des IT Centers: <https://blog.rwth-aachen.de/itc/> https://blog.rwth-aachen.de/itc/ <https://www.facebook.com/itcenterrwth> https://www.facebook.com/itcenterrwth <https://www.instagram.com/itcenterrwthaachen/> https://www.instagram.com/itcenterrwthaachen/ <https://www.linkedin.com/company/itcenterrwth> https://www.linkedin.com/company/itcenterrwth <https://www.youtube.com/c/ITCenterRWTHAachen> https://www.youtube.com/c/ITCenterRWTHAachen

1 0

DataStorage.NRW - Update HGM
by Lemoine, Gerard 07 May '25

07 May '25

Hallo zusammen, wir haben gerade die HyperGeoMetro (1:1) Konfiguration zwischen der UZK und UPB sowie RWTH und UDE abgeschlossen. Es gab noch ein paar Herausforderungen, die aber mit Geduld und der Hilfe aller Standorte und Huawei gelöst werden konnten. Was wurde gemacht? * Der Standort Köln wurde wieder in das DataStorage.NRW Netzwerkaufgenommen (siehe Screenshot Abb.01). * Auch wenn es danach aussieht, dass alle wieder so wie zu beginn ist, täuscht dies nur. Es gibt ein DataStorage.NRW Netzwerk in dem jetzt wieder alle Standorte (RWTH,UDE,UPB und UZK) enthalten sind. * In diesem Netzwerk können nun Replikations Gruppen verschiedner Art erstellt werden. Aktuell beschränken wir uns hier aber NUR auf das HGM in den 1:1 Pärchen! * Es wurden die Replikationspärchen (RWTH-UDE & UZK-UPB) gebildet (siehe Abb.02). * Dabei wurde zum Start für das Pärchen UZK UPB (siehe Abb. 03) , eine asynchronen Replikation gewählt und UZK als Primären Knoten gewählt um das einliefern von Daten zu beschleunigen. * Diese Einstellungen können später angepasst werden! * Das Pärchen RWTH-UDE (siehe Abb.04) wurde mit einer synchronen Replikationen konfiguriert, dass heißt das jeder Datentransfer erst vollständig ist, wenn beide Seite den erfolgreichen Transfer bestätigt haben. Dies hat zufolge, dass dies im Vergleich zum asynchronen Verfahren langsamer sein kann. Wie langsam werden wir herausfinden. * Aber auch diese Einstellung kann man später wieder ändern. * Der Wechsel zwischen Synchron und Asynchron wurde auch direkt erfolgreich getestet! * Erste Test: * Anlegen von NameSpaces in der GUI im der Replication Group RWTH-UDE von Aachen aus war erfolgreich! * Löschen des NameSpaces von UDE aus über die GUI war erfolgreich * Anlegen eines Buckets in UZK-UPB über die GUI von Aachen aus war NICHT erfolgreich. * Es fehlten nach der Neuinstallation in Köln die Accounts, die auf allen anderen Systemen synchronisiert waren. Die Synchronisierung der Accounts wurde dann erfolgreich manuell angestoßen. * Das Erstellen über die GUI war damit aber weiterhin nicht möglich und Huawei hat uns darüber informiert, dass dies über die GUI aus Aachen nicht möglich sei und es nur über die API gehen würde. * Was folgt nun? * @ UDE, UPB und UZK: * bitte die Firewall für die TCP 443 und 9443 (Service Plane) für IPv4 & 6 freigeben * @CoSine Team : * bitte dringend Testen ob das Anlegen und löschen über die API in beiden Replikationsgruppen möglich ist!!! Die Namen der Replikationsgruppen lauten: RWTH-UDE und UZK-UPB * Das Anlegen neuer Accounts ist bis jetzt nicht notwendig gewesen. Es sollten also auch die bereits bekannten Zugangsdaten genutzt werden können. * Löschen der vorhanden NameSpaces / Buckets für die jeweiligen Accounts (coscine-production & Co.) * Teilweise liegen z.B. auf dem UDE System lokale Buckets die erst geleert werden müssen bevor diese gelöscht werden können (diese werden auch nicht in der GUI in Aachen angezeigt!) * Huawei kann hier ggf. auch mit einem Script unterstützen * Testen der offiziellen URLs (globale.datastorage.nrw) für den Zugriff auf die Buckets Sollte ich was vergessen oder sich ein Fehler eingeschlichen haben, dann lasst es mich bitte zeitnah wissen. Gibt es Fragen oder ist etwas unklar? Dann meldet euch gerne bei mir. Danke an alle für Ihre Zeit, Geduld und unter Unterstützung!!! Viele Grüße Gerard Abb.01 Abb.02 Abb.03 Abb.04 Viele Grüße, Gerard -- Gerard Lemoine IT Center Gruppe: Server, Storage, HPC Abteilung: Systeme und Betrieb RWTH Aachen University Seffenter Weg 23 52074 Aachen Tel: + 49 241 80-24873 Lemoine(a)itc.rwth-aachen.de www.itc.rwth-aachen.de Social-Media-Kanäle des IT Centers: https://blog.rwth-aachen.de/itc/ https://www.facebook.com/itcenterrwth https://www.instagram.com/itcenterrwthaachen/ https://www.linkedin.com/company/itcenterrwth https://www.youtube.com/c/ITCenterRWTHAachen

1 0

DataStorage.NRW - HyperGeoMetro Konfiguration
by Lemoine, Gerard 05 May '25

05 May '25

Hallo zusammen, nachdem in Köln die DataStorage-Systeme neu installiert und an den übrigen Standorten die Software aktualisiert wurde, steht nun die Einrichtung der HyperGeoMetro-Konfiguration an. Huawei hat für den kommenden Mittwoch einen Remotetermin mit allen Standorten vorgeschlagen. Auch wenn der Termin kurzfristig ist, hoffe ich, dass an jedem Standort sich jemand findet, der den Remotezugriff ermöglichen kann. Wenn es gar nicht möglich ist, dann meldet euch bitte zeitnah bei mir. Im Rahmen des Termins werden folgende Punkte umgesetzt: Einrichtung der 1:1 HyperGeoMetro (HGM)-Paare für RWTH-UDE und UPB-UZK, Überprüfung und gegebenenfalls Anpassung der Coscine-Zugriffe, sodass zeitnah mit den Tests begonnen werden kann. Vielen Dank für Eure Unterstützung. Gerard -------------------------------------------------------------------------------------------------------------------------------- Gerard Lemoine | RWTH Aachen lädt Sie zu einem geplanten Zoom-Meeting ein. An Zoom-Meeting teilnehmen https://rwth.zoom-x.de/j/69011469925?pwd=KOoSlpbaILcnGCuW46YPrRtA7gHXvm.1 Meeting-ID: 690 1146 9925 Kenncode: 865418 --- Über SIP beitreten . 69011469925(a)lej.zmeu.us --- Über H.323 beitreten . 159.124.47.249 (Deutschland) Meeting-ID: 690 1146 9925 Kenncode: 865418 --------------------------------------------------------------------------------------------------------------------------------

1 0