Sehr geehrtes RWTHjupyter Support Team,
Wir aus der Fakultät 3 bieten seit einem Jahr das Fach "Machine Learning for Civil Engineering" an. I diesem Zusammenhang möchten wir eine Reihe von Jupyter Notebooks als Teil des RWTH-JupyterHubs für den kommenden Sommersemester 2024 anbieten um die entsprechenden Inhalten den Studenten zu vermitteln. Hierfür benötigen wir ein neues Profil mit Zugang zu einem GPU und verschiedene Python-Pakete wie z.B. Pytorch. Wir haben im letzten Jahr einen Antrag auf Eingliederung in die Profilliste gestellt (Link: hierhttps://git.rwth-aachen.de/jupyter/profiles/-/issues/94). Allerdings ist die Diskussion dort nach auftauchen von Problemen beim Bauen stillgelegt worden. Um diese wieder aufzugreifen möchte ich hiermit Ihnen den Status erklären mit der Hoffnung bestehende Probleme mit Ihren Feedback lösen zu können.
Die Schritte, die wir unternommen haben sind wie folgt: wir haben den Beispielprofilhttps://git.rwth-aachen.de/jupyter/example-profile benutzt und das "environment.yml" mit unseren eigenen Paketen ergänzt. Um mögliche Versionskonflikte zu vermeiden haben wir, wie damals vom Herrn Marcus Meyer vorgeschlagen wurde, den Profil lokal (unter Windows 10) gebaut und getestet wie folgt:
1. docker login registry.git.rwth-aachen.de 2. Nicht notwendige requirement pins entfernen 3. docker build . -t ml4ce 4. docker run -it ml4ce /bin/bash # Open interactive terminal 5. pip freeze # In interactive terminal 6. Versionen in environment.yml pinnen
Dieser Prozess dauert erstmal sehr lange - über 48 Stunden, was für mich das erste Zeichen ist, das wir vermutlich etwas falsch machen. Nichtdestotrotz, wird das erfolgreich gebaut und ich kann das entstandene docker image (ca 7GB) mit dem folgenden Befehl lokal starten:
docker run --name=ml4ce -rm --gpus all --interactive --tty --publish 8888:8888 --volume D:\Projekte\GIA_221104_ML4CE\04_Notebooks_Repos\ml4ce-2024\home\jovyan ml4ce
Docker startet nun automatisch eine JupyterLab Instanz. Im Notebook selber hat Pytorch allerdings keinen Zugriff auf dem GPU, z.B das folgende Code: "import torch; torch.cuda.is_available()" ergibt "False".
Die gepinnten Versionen sind auf unserem gitlab zu finden. Könnten Sie uns sagen was der Grund für die lange lokale Bauzeit sein kann? Wie können wir den Studenten einen Profil mit funktionsfähigen Pytorch und CUDA zur Verfügung stellen? Vielleicht gibt es bereits andere Jupyter-Profile, die gleiche oder ähnliche Anforderungen haben? Falls nötig können Sie mich gerne auch auf der unten genannte Nummer telefonisch erreichen.
Vielen Dank im Voraus für Ihre Hilfe.
Mit freundlichen Grüßen Hristo Vassilev
-------------------------------------------------------- M.Sc. Hristo Vassilev Wissenschaftlicher Mitarbeiter / Research Associate
RWTH Aachen Geodätisches Institut Lehrstuhl für Bauinformatik & Geoinformationssysteme Mies-van-der-Rohe-Str. 1 52074 Aachen Tel: +49 241 - 80-95290
email: hristo.vassilev@gia.rwth-aachen.demailto:hristo.vassilev@gia.rwth-aachen.de