Hallo zusammen,
am Montag, 05.12., um 09:00 Uhr wird cand.-Inform. Thorsten Dick in der
Bibliothek des Lehrstuhls seinen Diplom-Zwischenvortrag mit dem Thema
"Entwicklung eines interaktiven Gebärdensprachtutors mit videobasierter
Lernkontrolle" halten. Es wird primär um die videobasierte
Handstellungserkennung gehen. Alle Projektpartner und Interessenten sind
herzlich eingeladen.
-Jörg
--
Dipl.-Ing. Jörg Zieren Phone: +49 241 80 21224
Chair of Technical Computer Science Fax: +49 241 80 22308
RWTH Aachen University
Ahornstr. 55, 52074 Aachen, Germany http://www.techinfo.rwth-aachen.de
--> For a list of common abbreviations, see http://www.zieren.de/abk.html
Hallo,
tut mir leid, dass ich das so kurzfristig mitteile: Ich bin ab Morgen im
Urlaub (Flitterwochen :-) und ab 30.08. wieder im Büro.
Gruß,
Jörg
--
Dipl.-Ing. Jörg Zieren Phone: +49-241-80-21224
Chair of Technical Computer Science Fax: +49-241-80-22308
RWTH Aachen University ICQ: 155034668
Ahornstr. 55, 52074 Aachen, Germany http://www.techinfo.rwth-aachen.de
--> For a list of common abbreviations, see http://www.zieren.de/abk.html
Hallo,
unter http://www.techinfo.rwth-aachen.de/Mitarbeiter/Zieren/izkf habe ich
mal eine interne (unverlinkte) Seite erstellt, auf die Dokumente, die von
allgemeinem Interesse sind, plaziert werden können. Zur Zeit findet sich
dort ein Dokument mit ein paar allgemeinen Sätzen zu den Videoaufnahmen,
das eine grobe Vorstellung der Vorgehensweise vermittelt.
Bezüglich der Durchführung werden wir uns dann - wie heute besprochen - am
besten am Germanistischen Institut nochmal zusammensetzen, um die Details
zu klären. Das aber dann erst in einiger Zeit (vielleicht im dritten
Quartal), wenn einige noch offene technische Entscheidungen getroffen sind.
Gruß,
Jörg
--
Dipl.-Ing. Jörg Zieren Phone: +49-241-80-21224
Chair of Technical Computer Science Fax: +49-241-80-22308
RWTH Aachen University ICQ: 155034668
Ahornstr. 55, 52074 Aachen, Germany http://www.techinfo.rwth-aachen.de
-> Attachment missing/broken? Outlook may have deleted it without asking!
--> For a list of common abbreviations, see http://www.zieren.de/abk.html
Hallo,
zunächst möchte ich mich für die lange Funkstille meinerseits
entschuldigen - bis Anfang April war ich mit der Organisation einer
400-Teilnehmer-Erstsemesterklausur beglückt, die in mir ganz neue Gefühle
gegenüber der lieben Studentenschaft geweckt hat...
Parallel dazu und insbesondere seitdem arbeiten wir am
Gebärdenerkennungsteil des Tutor-Projekts. Dieser Teil kann lässt sich
grob in zwei Stufen untergliedern: Die erste Stufe hat die Aufgabe, das
aufgenommene Video der gebärdenden Benutzers zu analysieren, in jedem
Frame seine Hände und sein Gesicht zu finden, und die beobachtete
Konfiguration numerisch zu beschreiben (X/Y-Koordinaten der Hand, Stellung
der Finger etc.). Anschließend ist in der zweiten Stufe auf der Basis
dieser numerischen Repräsentation zu entscheiden, ob die Gebärde korrekt
ausgeführt wurde, und ein entsprechendes Feedback zu generieren, das dem
Benutzer eventuelle Fehler seiner Ausführung anschaulich beschreibt und
entsprechende Korrekturhinweise gibt.
Für beide Teile habe ich je eine Diplomarbeit ausgeschrieben. Auf meiner
Mitarbeiterseite http://www.techinfo.rwth-aachen.de/Mitarbeiter/Zieren/
unter "Stellen" sind diese Ausschreibungen incl. Bilder abrufbar.
Studienarbeiten (für entsprechend kleinere Module) sind ebenfalls
jederzeit zu vergeben.
<WERBUNG>Leider sind die entsprechenden Semester zur Zeit recht dünn
besetzt. Falls jemandem zufällig ein diplom- oder studienarbeitssuchender
E-Techniker oder Informatiker über den Weg läuft, wäre ich daher für einen
entsprechenden Verweis auf die o.g. Webseite sehr dankbar.</WERBUNG>
Aktuell arbeiten wir an einem Hintergrundmodell, d.h. einem Verfahren, das
in der Bildsequenz einer komplexen Szene Vordergrund- und
Hintergrundbereiche trennen kann. Das ist der erste Schritt in der oben
erwähnten ersten Verarbeitungsstufe des Erkennungssystems: Durch das
Erkennen und Entfernen von Hintergrundbereichen wird die Verarbeitung für
alle nachfolgenden Module erleichtert und die Fehleranfälligkeit
reduziert, da der Hintergrund in der Regel Störobjekte enthält, die mit
den gesuchten Objekten (Hände und Gesicht) verwechselt werden können.
Vielleicht noch kurz zum Personal: Das Team, das das Tutor-Projekt am LTI
bearbeitet, besteht aus gegenwärtig zwei Studenten (1x 8h/Woche & 1x
Studienarbeiter) und mir. Astrid Schütz und Christian Aengenheister
arbeiten leider nicht mehr am Lehrstuhl.
Am Freitag um 12:15 Uhr treffen sich Prof. Willmes, Prof. Kraiss, Frank
Domahs und ich in der Bibliothek des LTI, um einige projektbezogene Dinge
zu besprechen. Natürlich sind alle weiteren Projektteilnehmer ebenfalls
herzlich eingeladen.
Da zur Zeit der LTI-/Erkennungs-Teil (in Übereinstimmung mit dem groben
Projektplan im Antrag) die einzige Projektaktivität darstellt, denke ich,
das ein Treffen aller Beteiligten noch nicht unbedingt nötig ist. Ein
solches sollte m.E. erfolgen, sobald die Bildverarbeitung einen Stand
erreicht hat, in dem die Ansatzpunkte der weiteren Aktivitäten deutlich
werden.
Gruß,
Jörg Zieren
PS: Ich habe diese Mailingliste vom letzten IZKF-Projekt unverändert
übernommen und lediglich Astrid Schütz und Christian Aengenheister daraus
entfernt. Falls weitere Personen aus- oder eingetragen werden sollten,
bitte einfach mir bescheid sagen, das ist in 30 Sekunden gemacht :-)
--
Dipl.-Ing. Jörg Zieren Phone: +49-241-80-21224
Chair of Technical Computer Science Fax: +49-241-80-22308
RWTH Aachen University ICQ: 155034668
Ahornstr. 55, 52074 Aachen, Germany http://www.techinfo.rwth-aachen.de
-> Attachment missing/broken? Outlook may have deleted it without asking!
--> For a list of common abbreviations, see http://www.zieren.de/abk.html
Hallo,
ich fange nun (endlich) an, den Abschlussbericht zu schreiben. Das ganze
hat sich etwas verzögert, da wir nach der neuen DPO *zwei* Klausuren im WS
stellen müssen (eine davon am Karnevalsdienstag :-) und somit doppelt
belastet sind. Ausserdem bin ich dieses Jahr für die Organisation
verantwortlich, was bei 400 Teilnehmern auch nicht immer einfach ist...
Auf folgender Seite lege ich meine aktuelle Version der Datei:
http://www.techinfo.rwth-aachen.de/Mitarbeiter/Zieren/izkf/
Ausgangspunkt ist der Zwischenbericht (liegt auch nochmal dort), aus dem
viele Abschnitte übernommen werden können, teilw. mit kurzen Ergänzungen.
Ich schlage vor, dass jeder die eigenen Änderungen in die aktuellste
Version des Abschlussberichts einträgt, mit Hilfe des
Word-Kommentar-Features kennzeichnet, und mir die Datei zukommen lässt, so
dass ich das in das "Master-Dokument", das ich hier habe, einbauen kann.
Bitte nichts ungekennzeichnet ändern/hinzufügen, da das manuelle
Vergleichen zweier Word-Dokumente sehr zeitaufwändig und fehlerträchtig ist.
Gruß,
Jörg
--
Dipl.-Ing. Jörg Zieren Phone: +49 241 80 21224
Chair of Technical Computer Science Fax: +49 241 80 22308
RWTH Aachen University ICQ: 155034668
Ahornstr. 55, 52074 Aachen, Germany http://www.techinfo.rwth-aachen.de
-> Attachment missing/broken? Outlook may have deleted it without asking!
--> For a list of common abbreviations, see http://www.zieren.de/abk.html
Hallo,
ich habe mich in den letzten Tagen mit der Programmierung der
Gebärdenerkennung befasst und mir nun das Protokoll des letzten Treffens
angeschaut. Dabei ist bzgl. des noch zu erstellenden Videomaterials eine
Frage aufgetreten. Sollen, wie dort erwähnt, die Zahlen von 1-100
behandelt werden oder, wie zu einem früheren Zeitpunkt beschlossen, die
Zahlen von 0-20, alle Doppelzahlen (22,33,44,..,99), alle 10er, 100er
und 1000er?
Ich habe mich bisher mit Christian verständigt, dass er auf jeden Fall
die Zahlen von 1-100 für die Computererkennung aufnimmt, da diese
Gebärden bereits ohne Handschuh aufgenommen wurden. Fehlen dann nur noch
die 100er und 1000er.
Lange Rede, kurze Frage: Welcher Zahlenbereich soll abgedeckt werden?
Gruß,
Astrid Schütz
Hallo,
folgende Merkmale werden gegenwärtig berechnet (man bedenke, dass es sich
um Merkmale der 2D-Projektion handelt):
- Flächeninhalt
- X/Y Koordinaten des Schwerpunkts
- Kompaktheit (Verhältnis von Randkurvenlänge zu eingeschlossener Fläche.
Bereich [0,1], wobei Linie = 0 und Kreis = 1)
- Exzentrizität ("Mittlerer" Abstand eines Punktes der Struktur vom
Schwerpunkt. Wertebereich [0,1])
- Orientierung der Hauptträgheitsachse (periodisch mit 180°; da aus
Gründen der Kontinuität die Orientierung bei alpha=90-epsilon ungefähr den
gleichen Wert haben muss wie bei alpha=-90+epsion, wird der Winkel alpha
in zwei Komponenten angegeben: sin(2*alpha) und cos(alpha).)
Für die beiden erstgenannten Merkmale (Fläche und Koordinaten) berechnen
wir die Ableitung und normieren diese so, dass das Maximum bei 1 liegt.
Dadurch sind die Merkmale unabhängig von der absoluten Position im Bild
sowie von der aktuellen Auflösung. Für alle anderen Merkmale stellt sich
dieses Problem nicht.
Damit sieht der Merkmalsvektor folgendermaßen aus:
(<target> = kleiner Finger, Ringfinger, ...)
<target>.areasize.derivative
<target>.pos.x.derivative
<target>.pos.y.derivative
<target>.compactness
<target>.eccentricity
<target>.orientation.sin
<target>.orientation.cos
Also 7 Komponenten pro Target, d.h. bei 5 Fingern + 1 Handrücken + 1
nichtdominante Hand -> 7*7=49 Komponenten. Um nun die Aussagekraft dieser
Merkmale miteinander zu vergleichen, macht es - wie besprochen - Sinn,
einen binären Gewichtungsvektor mit entsprechend 49 Elementen aufzustellen.
Schicken Sie uns einfach die gewünschten Vektoren (entweder explizit
elektronisch als Textdatei, oder heuristisch beschrieben), dann machen wir
- sobald die Software soweit ist und die Aufnahmen im Kasten sind - die
entsprechenden Durchläufe.
Ich könnte mir z.B. vorstellen, dass folgende Gewichtungen interessant sind:
- Nur areasize.derivative für alle Targets
- Nur pos.x.derivative und pos.y.derivative für alle Targets
- Beides zusammen
- Alle Targets bis auf einen Finger (z.B. Ringfinger). Die Frage wäre
hier, ob - ähnlich wie beim unbeabsichtigten Weglassen der NDH - trotzdem
noch eine Differenzierung anhand der "sichtbaren" (mit 1 gewichteten)
Targets möglich ist.
Gruß,
Jörg
--
Dipl.-Ing. Jörg Zieren Phone: +49-241-80-21222
Chair of Technical Computer Science Fax: +49-241-80-22308
Aachen University of Technology (RWTH) ICQ: 155034668
Ahornstr. 55, 52074 Aachen, Germany http://www.techinfo.rwth-aachen.de
-> Attachment missing/broken? Outlook may have deleted it without asking!
--> For a list of common abbreviations, see http://www.zieren.de/abk.html
Hallo!
Nach den Absprachen und Rückantworten kann ich Euch nun mitteilen, dass wir uns im Bibliothek-Raum LTI am 20. Oktober um 14 Uhr treffen werden. Die Dolmetscherin/-nen wird/werden anwesend sein
Liebe Gebärdengrüße
Christian
"Prof. Dr. Klaus Willmes- v. Hinckeldey" schrieb:
>
> Lieber Herr Zieren,
>
> die Dateien waren zu verstehen.
> War das Vokabular nicht 0,1,2,3,4? In den anderen Dateien taucht aber immer
> die 10 satt der 4 auf. Wie kommt das.
Das war ein komplett erfundenes Beispiel - sorry, hatte ich Wiebke am
Telefon gesagt und dann vergessen zu erwähnen.
Die 10 habe ich genommen, um zu verdeutlichen, dass die n. Gebärde nicht
unbedingt die Zahl n sein muss.
Gruß,
Jörg Zieren
--
Dipl.-Ing. Jörg Zieren Phone: +49-241-80-21222
Chair of Technical Computer Science Fax: +49-241-80-22308
Aachen University of Technology (RWTH) ICQ: 155034668
Ahornstr. 55, 52074 Aachen, Germany http://www.techinfo.rwth-aachen.de
--> For a list of common abbreviations, see http://www.zieren.de/abk.html
Hallo Wiebke,
anbei wie gestern besprochen ein Beispiel-Logfile und eine
Beispiel-Konfusionsmatrix. Ich habe nochmal das gewählte Format ein wenig
dokumentiert - hoffentlich allgemeinverständlich.
Gruß,
Jörg
--
Dipl.-Ing. Jörg Zieren Phone: +49-241-80-21222
Chair of Technical Computer Science Fax: +49-241-80-22308
Aachen University of Technology (RWTH) ICQ: 155034668
Ahornstr. 55, 52074 Aachen, Germany http://www.techinfo.rwth-aachen.de
--> For a list of common abbreviations, see http://www.zieren.de/abk.html
