Projekte Prof. Al-Hamadi
Aktuelle Projekte
Ein robustes, reliables und multimodales KI-System zur Schmerzquantifizierung
Laufzeit: 01.12.2023 bis 30.11.2026
In Deutschland leiden mehr als 1,7 Millionen Menschen an einer Demenz. Da diese von kognitiven Einschränkungen betroffen sind, sollten hier Fremdeinschätzungsinstrumente für die Schmerzerkennung eingesetzt werden, da bei dieser Patientengruppe die Selbstauskunft keine verlässliche Information darstellt. Daher ist die Schmerzerkennung bei Demenz eine große Herausforderung für das klinische Monitoring und wird dies auch auf unabsehbare Zeit bleiben. Somit ist die Entwicklung eines Systems zur Schmerzerkennung und -quantifizierung von großer Relevanz für zahlreiche Anwendungen im klinischen Umfeld, welches die Forderungen nach Robustheit und Zuverlässigkeit erfüllt. Zum Beispiel wäre dies in der Notfall- und Akutmedizin wünschenswert, um bei der Diagnosefindung eine derartige technische Unterstützung durch ein KI-System vorzusehen. Das Vorhaben wird die Entwicklung eines robusten, reliablen und multimodalen KI-Systems zur Schmerzerkennung und –quantifizierung adressieren. Es beschäftigt sich erstens mit dem Forschungsziel tiefe neuronale Netze und Transferlernen mit umfangreichen, bestehenden in-the-wild Datenbanken zum Anlernen von diversen Mimikmerkmalen und zur Erhöhung der Robustheit gegenüber verschiedener, in verfügbaren Schmerzdatensätzen unterrepräsentierter Varianzen (Erscheinungsbild, Beleuchtung, Teilverdeckung, etc.) einzusetzen, um die Grundlagen für eine Technologie zu schaffen, die für die zukünftige potentielle Verwendung im klinischen Umfeld mit Schwerpunkt der Applikation bei Demenzkranken, insbesondere für das postoperative Monitoring in Aufwachräumen, geeignet ist.
Multimodale KI-basierte Schmerzmessung bei Intermediate Care Patienten in der postoperativen Phase
Laufzeit: 01.12.2023 bis 30.11.2026
Das Vorhaben beschäftigt sich mit Methoden der künstlichen Intelligenz zur automatisierten, multimodalen und kontinuierlichen Messung der Schmerzintensität in einer postoperativen Umgebung auf einer Intermediate Care Station nach größeren operativen Eingriffen. Langfristig soll die Technologie für Patienten mit eingeschränkten Kommunikationsfähigkeiten eine bessere Behandlung der Schmerzen und ihrer Ursachen ermöglichen, indem sie das medizinische Personal bei der Schmerzbeurteilung durch ein automatisiertes Echtzeitschmerzmonitoring unterstützt und entlastet sowie eine präzisere, individual- und situationsspezifische Analgesie möglich macht. Perspektivisch könnte die Technologie in weiterführenden Projekten auch für andere Patientenkollektive (z.B. Kinder und Demenzerkrankte) weiterentwickelt, validiert und eingesetzt werden.
Assistenzbedürftigkeit in der Mensch-Roboter Kollaboration
Laufzeit: 01.08.2023 bis 31.07.2026
Die wissenschaftlichen Ziele beinhalten die Erforschung und Erprobung echtzeitfähiger Deep Learning Algorithmen zur
- Umgebungserfassung und Navigation mit SLAM-Algorithmen (Simultaneous Localisation and Mapping),
- Bewegungsschätzung dynamischer Objekte und Nutzerverfolgung in dichten Räumen,
- Personenerkennung und Identifikation in dichten Räumen und
- Erkennen der Interaktionsbereitschaft anhand Körper- und Kopfpose sowie Mimikmerkmalen
Ein weiteres wissenschaftliches Ziel besteht hierbei darin, die Algorithmen derart zu konzipieren, dass eine gemeinsame Optimierung der jeweiligen Teilziele mittels end-to-end learning erreicht werden kann.
3D-basierte Mensch-Roboter Kollaboration mit räumlicher Situationsanalyse zur Ad-Hoc-Assistenz bei dynamischen Warentransportprozessen
Laufzeit: 01.09.2022 bis 31.08.2025
In diesem Projektvorhaben werden Methoden erforscht und entwickelt, die es einem mobilen Palettentransportroboter (FTS) ermöglichen, eine höhere semantische Situationsanalyse des logistischen Umfeldes für Werker-Roboter und Roboter-Roboter Interaktionen durchzuführen. Hierfür umfasst die erste Zielstellung die Kartenerstellung inklusive Selbstlokalisierung unter Einbeziehung dynamisch-semantischer Arbeitsobjekte. Eine weitere Zielstellung ist mittels der Entwicklung von latenzoptimierten Methoden zur Erkennung, Identifikation und Tracking von Werkern im logistischen Umfeld anhand von Körper-, Kopfpose und weiterer Indikatoren die Interaktionsbereitschaft abzuleiten, um effizient und robust mit dem agierenden Werker zu kollaborieren. Die Aktionen umfassen spezifische Tätigkeiten aus der Lagerlogistik (bspw. Abladen, Aufladen, Suchen von Paletten), welche durch Einbeziehung des Kontextes (Lokalisierung von Paletten, Ermittlung des Ladestatus) und von werkerzentrierten Gesten- und Sprachbefehlen bestimmt werden. Die entwickelten Lösungsansätze im Rahmen des Teilvorhabens tragen im Gesamtvorhaben dazu bei, eine gezielte Arbeitskoordination von mehreren Robotern und eine präzise und zielgerichtete Werker-Roboter Kollaboration robust und effizient zu ermöglichen (Übermittlung von Befehlen, Optimierung von Routen).
Implizite mobile Mensch-Roboter-Kommunikation für die räumliche Handlungskoordination mit aktionsspezifischer semantischer Umgebungsmodellierung
Laufzeit: 01.09.2022 bis 31.08.2025
Der Einsatz von Robotern in der Industrie-, Arbeits- und Alltagswelt wird immer weiter flexibilisiert. Aktuelle Methoden zum maschinellen Lernen und zur adaptiven Bewegungsplanung führen zu einem wesentlich robusteren Verhalten und einer höheren Autonomie des Roboters. Dennoch finden bei kollaborativen Mensch-Roboter-Handlungen immer wieder Interaktionsabbrüche statt, in denen der Mensch das Bewegungsverhalten des Roboters nicht nachvollziehen kann. Eine häufige Ursache liegt darin, dass der Mensch ein falsches oder eingeschränktes Bild davon hat, was der Roboter gerade wahrnimmt und was dessen interner Zustand ist. Dies könnte vermieden werden, wenn der Roboter die mentalen Zustände und die Perspektive des Interaktionspartners in seiner eigenen Handlungsgenerierung nutzen könnte, um ein gemeinsames Verständnis der Handlung aktiv zu erzeugen. Eine Schlüsselkompetenz für eine derartige Zusammenarbeit von Menschen und Robotern ist die Fähigkeit zur Kommunikation und gegenseitigen Koordination über implizite Signale der Körpersprache und -bewegung. Das Projekt untersucht die implizite Mensch-Roboter-Kommunikation in kollaborativen Handlungen am Beispiel des gemeinsamen Aufbaus eines Regals. In experimentellen Studien werden gezielt Situationen erzeugt und aufgenommen, in denen die Interaktion und Perzeption zwischen dem Menschen und dem Roboter gestört ist. Es werden zum einen neue Perzeptionsmethoden erforscht, die interaktionsrelevante Merkmale anhand von Kopf-, Körperposen und Mimik robust bei Verdeckungen erkennen. Diese werden im Kontext der Handlung und der Umgebung interpretiert, so dass implizite Kommunikationssignale (z.B. Zuwenden, Abwenden, Einhalten, Andeuten, etc.) und interne Zustände (z.B. Zustimmung, Ablehnung, Interaktionsbereitschaft, etc.) abgeleitet werden können. Zum anderen werden Methoden erforscht, in denen der Roboter die Perspektive und den Zustand des Gegenübers in seiner eigenen Handlungsplanung berücksichtigt und dabei aktiv Nutzerreaktionen einfordert. Dies führt zu einer räumlichen Koordination der Interaktionspartner beim Aufbau des Regals, die die gegenseitige Wahrnehmung und das Handlungsziel berücksichtigt. Über einen aktiven Einsatz der Körperpose, relativen Ausrichtung und Bewegung des Roboters können Konfliktsituationen bereits im Vorhinein gelöst werden, ohne dass eine explizite Instruktion an den Roboter notwendig ist.
Entwicklung und systematische Validierung eines Systems zur kontaktlosen, kamerabasierten Messung der Herzratenvariabilität
Laufzeit: 01.06.2022 bis 31.05.2025
Die Herzratenvariabilität (HRV) stellt wichtige Informationen für die medizinische Analyse des Herz-Kreislauf-Systems und die Aktivität des autonomen Nervensystems, sowie für die Diagnose und Prävention von Krankheiten bereit. Bei den herkömmlich verwendeten Systemen zur Überwachung der HRV handelt es sich um kontaktbasierte Techniken, deren Sensoren direkt am Körper der Person angebracht werden müssen, etwa ein Elektrokardiogramm (EKG) oder kontaktbehaftete Photoplethysmographie(PPG)-Verfahren. Diese Verfahren eignen sich jedoch nur bedingt für die Langzeitüberwachung oder die Früherkennung von Krankheitssymptomen. Zudem können diese einige negative Auswirkungen für die zu messende Person mit sich bringen, wie bspw. Hautirritationen, ein gesteigertes Verbreitungsrisiko von Krankheitserregern aufgrund des direkten Kontakts, etc.Ziel dieses Forschungsvorhabens ist die optische Messung der Herzratenvariabilität (HRV) aus Videobildern im RGB- und NIR-Bereich unter Verwendung der PPG. Bei der PPG handelt es sich um eine optische, nicht-invasive Technologie, die mithilfe von Licht die volumetrischen Schwankungen der Blutzirkulation in der Haut aufzeichnet. Dieses Verfahren wurde in den letzten Jahren durch den Einsatz von Kameras auch kontaktlos auf Distanz realisiert und bereits erfolgreich für die Bestimmung der Herzrate (HR) aus Videodaten eingesetzt. Für die Messung der HRV ist eine zeitlich präzise Bestimmung der Herzschläge (Peaks) im PPG Signal notwendig. Die hohe Messgenauigkeit der HR im Stand der Technik wird durch eine starke zeitliche Filterung erreicht. Hierdurch ist eine genaue zeitliche Lokalisation der Herzschläge jedoch nicht mehr möglich. Eine Herausforderung dabei ist, dass bereits kleinste Bewegungen und Mimik der Probanden zu Artefakten im PPG Signal führen. Hier setzt dieses Forschungsvorhaben an, in dem diese Artefakte im PPG-Signal systematisch erfasst und anschließend kompensiert werden. Bisher basieren fast alle Verfahren zur Messung des PPG-Signals auf Farbwert-Mittelwertbildung von (Teil-)Bereichen der Haut im Gesicht. Eine Bewegungskompensation ist mit diesen Verfahren nicht möglich, da Positionsinformationen hierbei verloren gehen. Um Modelle zu trainieren, die invariant gegenüber Bewegungen sind, eignen sich tiefe neuronale Netze (Convolutional Neural Network (CNN)). Unter Verwendung von Verfahren zur 3D Kopfposeschätzung und der Action-Unit Erkennnung (Gesichtsmuskelbewegungen), soll ein System trainiert werden, um aus den Videodaten bewegungsinvariante PPG-Signale zu gewinnen. Dazu werden Informationen über die detektierten Hautregionen in jedem Bild mithilfe neuer Segmentationsverfahren auf CNN-Basis generiert und für die Bewegungskompensation verwendet. Die durch dieses Netz gewonnenen Daten sollen mit einem weiteren auf zeitliche Signalverarbeitung optimierten rekurrenten Netzen (Long Short-Term Memory (LSTM)) weiterverarbeitet werden, um die Pulspeaks im PPG-Signal zeitlich exakt zu bestimmen.
Abgeschlossene Projekte
Blickschätzung basierend auf dem kombinierten Loss von Regression und Klassifizierung
Laufzeit: 01.01.2022 bis 01.10.2024
Der menschliche Blick ist ein entscheidendes Merkmal, der in verschiedenen Anwendungen wie der Mensch-Roboter-Interaktion, dem autonomen Fahren und der virtuellen Realität verwendet wird. Kürzlich haben Ansätze mit Convolutional-Neural-Networks (CNN) bemerkenswerte Fortschritte bei der Vorhersage der Blickrichtung gemacht. Das Schätzen der genauen Blickrichtung in unkooperativen in-the-wild Situationen (d.h. mit Teilverdeckungen, stark variierenden Lichtverhältnissen usw.) ist jedoch immer noch ein herausforderndes Problem. Hierbei ist es besonders herausfordernd, die essentiellen Blickinformationen aus dem Augenbereich zu erfassen, da dieser nur einen kleinen Teil eines detektierten Gesichtes ausmacht. In diesem Projekt wird ein neues Multi-Loss-CNN-basiertes Netzwerk entwickelt, um die Winkel der Blickrichtung (Nick- und Gierwinkel) mit hoher Genauigkeit direkt aus Gesichtsbildern zu ermitteln. Indem wir die gemeinsamen Merkmale der letzten Schicht des Netzwerks trennen, sollen zwei unabhängige Fully-Connected Layer für die Regression der beiden Blickwinkel verwendet werden, um die Charakteristik jedes Winkels zu erfassen. Darüber hinaus soll eine Coarse-to-Fine-Strategie unter Verwendung eines Multi-Loss-CNN angewendet werden, das sowohl den Loss von Klassifizierung als auch Regression mit einbezieht. Wir führen eine Klassifizierung des Blicks durch, indem wir eine Softmax-Schicht mit dem Cross-Entropy-Loss kombinieren. Hieraus ergibt sich eine grobe Einordnung des Blickwinkels (Klasse). Um Blickwinkel zu prädizieren, berechnen wir die Klassenverteilung gefolgt von dem Regressions-Loss des Blickwinkels.
Personenidentifikation in realer Mensch-Roboter-Interaktionsumgebung
Laufzeit: 02.11.2020 bis 30.04.2024
Die wissenschaftlichen Ziele des Projektes beinhalten die Erforschung und Erprobung echtzeitfähiger Deep Learning Algorithmen zur
- Personenerkennung und Identifikation in dichten Räumen und
- Erkennen der Interaktionsbereitschaft anhand Körper- und Kopfpose sowie Mimikmerkmalen
Ein weiteres wissenschaftliches Ziel besteht hierbei darin, die Algorithmen derart zu konzipieren, dass eine gemeinsame Optimierung der jeweiligen Teilziele mittels end-to-end learning erreicht werden kann.
Die Wirkung des Einsatzes KI gestützter Technologie zur Lügenerkennung in Verhandlungen
Laufzeit: 01.10.2021 bis 29.02.2024
Die zunehmende Digitalisierung gesellschaftlicher und ökonomischer Interaktionen verläuft mit einer erheblichen Geschwindigkeit. Forschung zu Digitalisierungsprozessen sollte dabei zwei Erkenntnisgegenstände miteinander in Einklang bringen, die für gewöhnlich allerdings getrennt voneinander untersucht werden: Erstens die Frage der technischen Entwicklung und zweitens die Frage der Auswirkungen dieser Entwicklung auf menschliches Verhalten. In dem hier beantragten Projekt soll der Versuch unternommen werden, beide Perspektiven in einem interdisziplinären Zugang miteinander zu verbinden, wobei der Schwerpunkt zwar auf der Verhaltensanalyse liegt, die technische Komponenten aber dennoch stark vertreten ist. Der Anwendungsfall, der für diese Art der Analyse von Digitalisierungsprozessen gewählt wird, ist das Phänomen asymmetrischer Information. Konkret wird untersucht, inwieweit das Paradigma der asymmetrischen Informationsverteilung durch den Einsatz von KI Technologien zumindest teilweise obsolet geworden ist. In unserem interdisziplinären Projekt möchten wir, anstatt die technologische Entwicklung auf dem Gebiet der maschinellen Lügendetektion abzuwarten, unsererseits zum technologischen Fortschritt beitragen und gleichzeitig die möglichen gesellschaftlichen Folgen dieser Technologie experimentell untersuchen. Das Projektvorhaben verbindet zwei Forschungsbereiche: Wirtschaftswissenschaften (WW) sowie Neuro-Informationstechnik (NIT). In beiden Bereichen spielt die Identifikation privater Information eine große Rolle, wird jedoch aus unterschiedlichen Blickwinkeln betrachtet. Während die ökonomische Analyse sich auf die Rolle und Wichtigkeit privater Information in Verhandlungssituationen fokussiert, steht bei NIT die Machbarkeit und Qualität einer automatisierten Erkennung persönlicher Charakteristiken im Vordergrund.
Autonome Navigation und Mensch-Maschine-Interaktion eines mobilen Roboters in Outdoor-Anwendungen
Laufzeit: 15.09.2019 bis 31.05.2022
Das Gesamtziel dieses Projekts besteht darin, Methoden zu erforschen, die es einem mobilen Robotersystem ermöglichen, im Außenbereich autonom zu navigieren, potentielle und spezifische Interaktionspartner zu identifizieren, ihre Interaktionsbereitschaft zu erkennen, mit ihnen zu interagieren und die Interaktionspartner zum Aufrechterhalten der Kooperation mittels Bewegungsanalyse in dichten Räumen zu verfolgen.
Die wissenschaftliche und technische Herausforderung besteht darin, das Umfeld des mobilen Roboters so zu erfassen, dass eine präzise Selbstlokalisation und darauf aufbauend eine effiziente Navigation in einer Outdoor-Umgebung zum Auffinden kooperierender Personen erfolgen kann. Dabei soll auf Vorabinformationen aus der Umgebung des Roboters, wie z.B. Marken möglichst verzichtet werden. Der Roboter soll ausschließlich auf Grund seines eigenen optischen Systems eine anfangs unbekannte Umgebung erfassen und sich darin zurechtfinden.
Eine weitere Herausforderung besteht bei der Verfolgung von Interaktionspartnern in dichten Räumen. Hierunter sind Umgebungen mit mehreren potentiellen Interaktionspartnern und dynamischen Szenenobjekten und damit verbundener Verdeckungssituationen zu verstehen. Unterschreiten zwei Objekte einen bestimmten räumlichen Abstand, können diese nicht eindeutig voneinander separiert werden, so dass eine Verfolgung (Tracking) der zu verfolgenden Personen stark erschwert wird.
Eine besondere Herausforderung von unbekannten, dichten Räumen besteht darin, dass zudem die potentiellen Interaktionspartner nicht a-priori bekannt sind, sondern zunächst identifiziert werden müssen. Dies umfasst sowohl die reine Personenerkennung als auch die Bewertung ihrer Interaktionsbereitschaft.
Um diese Herausforderungen zu bewältigen, sind verschiedene technische und wissenschaftliche Teilprobleme zu lösen, wobei die Erforschung von Methoden zur Umgebungserfassung, Navigation und Interaktion mittels künstlicher Intelligenz (KI) aus wissenschaftlicher Sicht und der Aufbau des Robotersystems aus technischer Sicht im Fokus stehen.
Multimodale Erkennung von Druck- und Hitzeschmerzintensität
Laufzeit: 30.11.2017 bis 31.03.2022
Der Fokus dieses Projektes ist die Verbesserung der Schmerzdiagnostik und des Monitorings von Schmerzzuständen. Durch die Nutzung von multimodalen Sensortechnologien und hocheffektiver Datenklassifikation kann eine reliable und valide automatisierte Schmerzerkennung ermöglicht werden. Um dieses Ziel zu erreichen, wird durch die Kombination neuer innovativer Methoden der Datenanalyse, der Mustererkennung und des maschinellen Lernens auf Daten eines experimentellen Protokolls eine vielversprechende Strategie der objektiven Schmerzerkennung entwickelt. Um Merkmale extrahieren und selektieren zu können, werden die experimentellen Daten seriell mit komplexen Filtern und Dekompensationsmethoden vorverarbeitet. Die so gewonnenen Merkmale sind die Voraussetzung für eine robuste automatisierte Erkennung der Schmerzintensität in Realzeit.
Intentionale, antizipatorische, interaktive Systeme (IAIS)
Laufzeit: 01.01.2018 bis 31.12.2021
Intentionale, antizipatorische, interaktive Systeme (IAIS) stellen eine neue Klasse nutzerzentrierter Assistenzsysteme dar und sind ein Nukleus für die Entwicklung der Informationstechnik mit entsprechenden KMUs in Sachsen-Anhalt. IAIS nutzt aus Signaldaten abgeleitete Handlungs- und Systemintentionen sowie den affektiven Zustand des Nutzers. Mittels einer Antizipation des weiteren Handelns des Nutzers werden Lösungen interaktiv ausgehandelt. Die aktiven Rollen des Menschen und des Systems wechseln strategisch, wozu neuro- und verhaltensbiologische Modelle benötigt werden. Die im vorhandenen Systemlabor, auf Grundlage des SFB-TRR 62, applizierten Mensch-Maschine-Systeme haben dann das Ziel des Verständnisses der situierten Interaktion. Dies stärkt die regionale Wirtschaft bei der Integration von Assistenzsystemen für die Industrie 4.0 im demographischen Wandel wesentlich.
Human Behavior Analysis (HuBA)
Laufzeit: 01.10.2017 bis 30.06.2021
Das Projekt etabliert eine Nachwuchsforschungsgruppe zur Erforschung neuer und verbesserter Methoden der Informationsverarbeitung zum automatisierten Verstehen des menschlichen Verhaltens. Zum menschlichen Verhalten zählen wir hierbei alle äußerlich wahrnehmbaren Aktivitäten wie Körperhaltungen, Gesten und Mimiken, die bewusst oder unbewusst gezeigt werden. Anhand des Verhaltens soll auch auf eventuell zugrunde liegende Befindlichkeiten des Menschen geschlossen werden.
Human-Machine-Interaction Labs - Roboter Labor
Laufzeit: 01.09.2019 bis 30.09.2020
Ziel des Projektes "Robo-Labs" ist die nachhaltige Weiterführung der erarbeiteten Ergebnisse zur Mensch-Maschine-Interaktion in der NIT-Gruppe. Zu diesem Ziel trägt das Robo-Lab folgendermaßen bei:
- Die Erforschung und Umsetzung von Methoden zur Mensch-Maschine-Interaktion mittels künstlicher Intelligenz (KI) bedarf große Rechenkapazitäten und große Datenmengen. Mit Hilfe eines Deep-Learning Rechners soll genügend Rechenkapazität geschafft werden, um auch in Zukunft international Konkurrenzfähig zu bleiben.
- Um den gleichzeitig weiter steigenden Datenbedarf zu decken, soll eine Laborumgebung geschaffen werden, die eine multimodale Datenaufnahme in der Mensch-Roboter-Kollaboration (MRK) erlaubt. Dazu soll die im Labor vorhandene Sensorik erweitert werden und eine Umgebung zur Datenaufnahme für die natürliche Mensch-Roboter-Interaktion geschaffen werden.
- Ein mobiler Roboter und ein stationärer Roboter sollen unterschiedliche technische Fertigungsprozesse und assistierende Systeme nachbilden können und damit MRK-Situationen ermöglichen, die in Demonstratoren in laufenden 3Dsensation Projekten und darüber hinaus umgesetzt werden.
- Das Robo-Lab baut das Kompetenzprofil der NIT-Arbeitsgruppe weiter in Richtung Mensch-Roboter-Interaktion aus und schafft durch die zusätliche sensorische Ausstattung eine einmalige, international konkurenzfähige Laborumgebung für Forschung und Lehre.
- Lauftende und künftige Projekte können mit dem Robo-Lab unterstützt werden, da eine einmalige Umgebung für die Entwicklung von Demonstratoren sowie zur Datenaufnahme und Datenverarbeitung geschaffen wird. Das Robo-Lab ermöglicht Forschung auf Spitzenniveau und erlaubt weitere Forschungsbemühungen.
Ergonomics Assistance Systems for Contactless Human-Machine-Operation
Laufzeit: 01.01.2017 bis 31.03.2020
Ziel des Projekts ist das Erforschen und die Demonstration neuer Technologien und Entwurfsmethoden bzw. in den Arbeitskontext integrierten Bedienkonzepte für die Mensch-Maschine-Interaktion (MMI) und Mensch-Maschine-Kooperation (MMK), mit deren Hilfe die Eingabe/Steuerung durch den Menschen, die Ausgabe der Informationen durch die Maschine und die Kollisionsvermeidung für kommerzielle Produkte und in den industriellen Produktionsumfeld realisiert werden kann. Damit sollen auch KMUs in den gesellschaftlichen und ökonomischen Bedarfsfeldern Gesundheit und Produktion befähigt werden, Interaktionskonzepte und informationsorientierte Visualisierungslösungen die ein sicheres, ergonomisches und applikationsorientiertes Arbeiten im Verbund von Mensch und Maschine erlauben, in einer gemeinsamen Wertschöpfungskette entwickeln und vermarkten zu können. Diese Konzepte werden in die nächsten Generationen von Geräteentwicklungen und Produktionsanlagen der Industriepartner einfließen. Im Vordergrund steht dabei eine hohe Integration der Robotik-Systeme durch schnelle Situationserfassung und -verarbeitung unter Einbeziehung von Multi-Sensordaten für Mehr-Nutzer-Szenarien.
Mimische und Gestische Expressionsanalyse zur Angstmessung
Laufzeit: 01.11.2017 bis 29.02.2020
Industrieroboter sind in heutigen Produktionsanlagen quasi allgegenwärtig - arbeiten aus Sicherheitsgründen in der Regel jedoch räumlich getrennt vom Menschen. Ein Hemmnis für eine enge Zusammenarbeit, in der beide ihre Vorteile ausspielen könnten (Mensch: Wahrnehmung, Urteilsvermögen, Improvisation; Roboter: Reproduzierbarkeit, Produktivität, Kraft), besteht in der Angst des Menschen vor dem Roboter: Auf Grund der potentiellen Verletzungsgefahr bei Kollision oder der Unkenntnis der technischen Zusammenhänge sperrt sich der Mensch innerlich gegen die Kollaboration, agiert unkonzentriert und neigt zu ruckartigen Reflexbewegungen. Das beeinträchtigt die Produktqualität und erhöht die Wahrscheinlichkeit gefährlicher Unfälle. Das Ziel dieses Projekts besteht daher darin, den Menschen im Produktionsumfeld sicher zu erkennen und Verfahren zur objektiven, individuellen und situativen Angstschätzung auf Basis sensorisch erfasster Gestik- und Mimikexpressionen zu entwickeln. Auf potentiell erkannte Ängste kann mittels geeigneter Interaktionsmaßnahmen situationsgerecht reagiert und somit ein Vertrauen zwischen Mensch und Maschine geschaffen werden, das die Basis für eine wirtschaftlich attraktive Mensch-Roboter-Kollaboration bildet.
Hyperspektrale Vitalparameterschätzung zur automatischen kontaktlosen Stresserkennung
Laufzeit: 01.01.2017 bis 30.09.2019
Das Projekt ist Teil des Verbundprojektes "HyperStress" des Graduierkollegs der Allianz "3d-Sensation". Stress gilt als größter Belastungsfaktor am Arbeitsplatz und erlangt seit Jahren großes Forschungsinteresse. Jedoch existieren keine Verfahren für eine hindernisfreie (Gefahrenbeurteilung) und störungsfreie (Limitierungen durch die Arbeitstätigkeit) Erfassung der für Stress ausschlagegebenden Vitalparameter. Ziel des Projektes ist die Entwicklung eines Demonstrators, der eine kontaktlose Stressdetektion ermöglicht. Ein robustes genaues System mit ansprechender benutzerfreundlicher Visualisierung der Daten ist das Ziel des Projektes.
Kontaktfreie kamerabasierte Messung von Vitalparametern mit verbesserter Störsicherheit
Laufzeit: 01.07.2017 bis 30.06.2019
Die Erfassung von wichtigen Vitalparametern des Menschen, wie der Herzrate, Atmung, Herzratenvariabilität und Sauerstoffsättigung des Blutes, sind von großer Bedeutung für die Diagnostik und Überwachung des Gesundheitszustands. Im Projekt sollen neue Daten gewonnen werden, um die Genauigkeit der bisher entwickelten Verfahren zur Schätzung der Vitalparameter signifikant zu verbessern. Die verwendete Hauterkennung soll generalisiert werden und robustere Ergebnisse in Echtzeit liefern können. Zudem sollen aufgrund der neuen zusätzlichen Informationen (z.B.: 3D-Daten, Infrarotbilder), auch die Verfahren zur Merkmalsextraktion, -selektion und -reduzierung optimiert werden.
Optisches Messverfahren mit räumlich verteilten Licht-Projektionen zur hochaufgelösten und schnellen 3D-Oberflächenrekonstruktion
Laufzeit: 01.12.2017 bis 30.11.2018
Das Vorhaben zielt darauf ab, ein neues aktives 3D-Messverfahren zu entwickeln, das ohne einen auf Zentralprojektion basierenden digitalen Projektor auskommt. Dabei sollen durch hohe Lichtintensität kurze Integrationszeiten für die Gesamtmessung gewährleistet werden. Insbesondere wird eine prinzipielle Skalierbarkeit der Beleuchtungsstärke angestrebt, so dass auch größere Messflächen, wie sie in der industriellen Produktion häufig vorkommen, zeiteffizient vermessen werden können. Durch ein Multikamerasystem soll auch eine erhebliche Reduzierung von Abschattungen bei der Vermessung komplexer Teile erreicht werden, um Messungen aus unterschiedlichen Positionen zu vermeiden.
Optimierung der Reliabilität und Spezifität der automatisierten multimodalen Erkennung von Druck- und Hitzeschmerzintensität
Laufzeit: 01.09.2015 bis 31.05.2018
Derzeit gebräuchliche Methoden zur klinischen Schmerzmessung sind nur begrenzt reliabel und valide, sie sind zeitaufwendig und können nur bedingt bei Patienten mit eingeschränkten verbalen Fähigkeiten eingesetzt werden. Wenn eine valide Schmerzmessung nicht möglich ist, kann dies zu stressbedingtem kardiologischem Risiko, zu Über- oder Unterversorgung von Analgetika und zu einer suboptimalen Behandlung von akutem und chronischem Schmerz führen.
Der Fokus dieses Projektes ist daher die Verbesserung der Schmerzdiagnostik und des Monitorings von Schmerzzuständen. Durch die Nutzung von multimodalen Sensortechnologien und hocheffektiver Datenklassifikation kann eine reliable und valide automatisierte Schmerzerkennung ermöglicht werden. Um dieses Ziel zu erreichen, wird durch die Kombination neuer innovativer Methoden der Datenanalyse, der Mustererkennung und des maschinellen Lernens auf Daten eines experimentellen Protokolls eine vielversprechende Strategie der objektiven Schmerzerkennung entwickelt. Biomedizinische, visuelle und Audiodaten werden unter experimentellen und kontrollierten Schmerzapplikationen bei gesunden Versuchspersonen gemessen. Um Merkmale extrahieren und selektieren zu können, werden die experimentellen Daten seriell mit komplexen Filtern und Dekompensationsmethoden vorverarbeitet. Die so gewonnenen Merkmale sind die Voraussetzung für eine robuste automatisierte Erkennung der Schmerzintensität in Realzeit.
Aktive Zeilenkamerasysteme zur schnellen und hochauflösenden 3D-Vermessung großer Oberflächen
Laufzeit: 01.12.2015 bis 01.03.2018
Im Rahmen des BMBF-Förderprogramms Zwanzig20-Partnerschaft für Innovation wird ein Verbundprojekt mit Partnern aus Industrie und Wissenschaft durchgeführt. Ziel des BMBF Projektes ist es, technologische Grundlagen für Sensoren zur hochauflösenden und hochdynamischen 3D-Erfassung von Objekten und Oberflächen zu entwickeln. Im Teilprojekt der Otto-von-Guericke Universität stehen diesbezüglich große Oberflächen von Werkstücken aus der industriellen Produktion im Vordergrund. Grundidee ist es, durch die Entwicklung von Zeilenkamerasystemen mit geeigneter strukturierter Beleuchtung technologisch bedingte Beschränkungen von Matrixkamerasystemen insbesondere bei der Vermessung bewegter Oberflächen an Fließbändern oder bei Endlosmaterial zu überwinden.
Augmented-Reality-System zur Unterstützung von Materialprüfung und Qualitätskontrolle auf industriellen Anlagen - Datenfusion räumlich erfasster Messwerte in der AR-Anwendung
Laufzeit: 01.02.2016 bis 28.02.2018
Das Kooperationsprojekt bedient Bedürfnisse hinsichtlich manueller Prüftechniken zur Materialinspektion und Qualitätssicherung auf industriellen Anlagen. Ein wesentliches Ziel ist es, einen menschlichen Prüfer während der Inspektion durch ein Augmented-Reality-System zu unterstützen. Der Begriff Augmented Reality (AR) bezieht sich hier auf die computergestützte Erweiterung der menschlichen visuellen Realitätswahrnehmung durch das Einblenden zusätzlicher virtueller Informationen in das Sichtfeld des Inspekteurs z.B. über eine Datenbrille. Bei diesen zusätzlichen Informationen handelt es sich im Rahmen der Anwendung um Messergebnisse aus vorangegangenen Inspektionen sowie virtuelle Modelle der realen Prüfobjekte aus einer eigens zu entwickelnden Datenbank. Zusätzlich sollen aktuelle Messergebnisse mit räumlichen Bezug zur Oberfläche des Prüfobjektes eingeblendet werden. Als Bezugsquelle dient ein optisches Messsystem, welches mit dem jeweiligen Prüfgerät gekoppelt ist und die Daten in Echtzeit dem AR-System zur Darstellung zur Verfügung stellt.
Mechanismen nonverbaler Kommunikation: Mimische Emotionserkennung sowie Analyse der Kopf- und Körpergestik
Laufzeit: 01.01.2013 bis 31.12.2017
Benutzeradaptives Verhalten stellt eine grundlegende Eigenschaft von Companion-Technologien dar. Voraussetzung hierfür sind sensorische Fähigkeiten, die das System in die Lage versetzen, Rückschlüsse auf den Nutzerzustand (Disposition) und weitere situationsbedingte kommunikationsrelevante Parameter aus nonverbalen Signalen zu ziehen. Teilprojekt C3 leistet durch die visuelle Analyse der Gesichtsmimik sowie der Kopf- und Körperpostur/-gestik einen elementaren Beitrag, um eine möglichst reichhaltige systemseitige Repräsentation der Nutzerdisposition abzuleiten. Die zeitliche Analyse der Kopf- und Körpergestik ermöglicht es zudem, Aktionen und Intentionen eines Nutzers zu erkennen oder solche zu prädizieren. Die Modellierung kognitiver Architekturen basierend auf biologischen Prinzipien hilft, universelle Ansätze zur Informationsverarbeitung und der lernbasierten Adaptationsfähigkeit zu entwickeln.
Innovatives Konzept zur bildbasierten Kopfposeschätzung und Fahrerzustandserkennung
Laufzeit: 01.03.2014 bis 01.09.2017
Dieses Projekt beinhaltet die Entwicklung robuster Ansätze zur bildbasierten Fahreranalyse mit dem Ziel einer Erhöhung der Sicherheit und des Fahrkomforts. Es geht dabei sowohl um die Erkennung als auch die Simulation relevanter Parameter wie Kopfpose, Blickrichtung, Lidschlag und im weiteren Verlauf Mimik. Insbesondere sollen durch Verwendung aktiver sowie Multikameratechnologien sehr robuste Verfahren entwickelt werden, welche den Anforderungen des Einsatzes unter realen Bedingungen gerecht werden. Die bildbasierte computergrafikbasierte Simulation unter vordefinierten Parametern soll weiterhin die Validierung bereits vorhandener Technologien ermöglichen.
Kontaktfreie kamerabasierte Messung von Vitalparametern mit verbesserter Störsicherheit
Laufzeit: 01.07.2015 bis 01.07.2017
Herzrate, Atmung und Herzratenvariabilität sind wichtige Vitalparameter des Menschen. Momentan vertriebene Geräte zur Messung dieser Parameter verwenden ausschließlich kontaktbasierte Messmethoden. Diese sind mit einigen Nachteilen verbunden. Das Ziel des angestrebten Forschungsvorhabens ist die Entwicklung einer 3D-bildbasierten, kontaktfreien Messmethode, die dem Nutzer maximale Bewegungsfreiheit und maximalen Komfort bietet, robust und schnell funktioniert und einfach zu verwenden ist.
Umgebungserkennung
Laufzeit: 01.01.2013 bis 30.12.2016
Ziele des Teilprojekts C1 sind die Umgebungserkennung und -modellierung sowie die intentionsbasierte Interpretation von Gesten potentieller Benutzer eines Companion-Systems. Zur Umgebungsmodellierung werden neue Methoden zum Multi-Objekttracking, zur Informationsfusion und zeitlichen Filterung erforscht und weiterentwickelt, basierend auf der Random Finite Sets Theorie und dem Joint Integrated Probabilistic Data Association Filter, die eine gleichzeitige Schätzung der Objektexistenz und des Objektzustandeserlauben. Die Erkennung von Nutzergesten erfolgt bildbasiert und stellt die Grundlage für eine intentionsbasierte Interpretation der Gesten- und Aktionssequenzen anhand von Intentionsreferenzmodellen dar. Diese stellen den direkten Bezug zwischen allen Intentionshypothesen auf Grundlage eines Applikationskontextes und dem fusionierten Merkmalsvektor aus Gestensequenzen her. Die Hypothese mit dem maximalen Evaluierungsmaß soll der Benutzerintention entsprechen.
Crowd Behavior Analysis in Video Sequences
Laufzeit: 01.10.2013 bis 01.10.2016
The analysis of human activities in crowded scenes is the most challengeable tasks in computer vision. Tracking and understanding individuals actions in dense scenes is a problem till yet not be fully solved due to occlusion between objects.
The new area of interest in computer vision is the crowd behavior analysis and modeling. Broadly speaking, there are two levels of crowd analysis: 1) individual level and 2) global level. At the individual level, the goal is to extract and understand behavior of each moving object in the crowd. At the global level, the goal is to model the behavior of the group as a whole. In both cases, one can perform behavior understanding and anomaly detection by analyzing motion features and characterizing so-called “normal behavior”. In contrast, detecting “anomaly” or “abnormal behavior” refers to the action of locating activities that do not conform to “normal behavior” or fall in its respective labeled class.
In this project we will focus on the modeling of crowd-flow solutions without tracking. After the modeling of crowd behavior, we will be able to detect high-level abnormalities such as traffic jams, crowd of people running amok, etc.
Hochaufgelöste Oberflächenforminspektion großflächiger industrieller Oberflächen
Laufzeit: 01.11.2014 bis 30.04.2016
Hochwertige Oberflächen sind eine Herausforderung insbesondere bei hochpreisigen Gütern wie z.B. Karosserie-Außenhautteilen für die Automobilindustrie. Systeme für die Oberflächenforminspektion sind in der Lage, kleinste Deformationen zu erkennen. Diese Systeme sind allerdings auf kleine Messbereiche beschränkt.Verfahren zur Verrechnung mehrerer Teilbereiche sind z.B. aus der Geometrievermessung bekannt. Die so zusammengeführten großflächigen Bereiche genügen jedoch nicht den Anforderungen an Genauigkeit und Auflösung, die für eine Oberflächenforminspektion notwendig sind.Ziel des Projektes ist es daher, ein Messsystem zu entwickeln, das die Oberflächenforminspektion auf großflächigen industriellen Oberflächen ermöglicht.
Nicht-intrusive intentions-adaptive Interaktionen in HCI-Umgebung
Laufzeit: 01.10.2012 bis 30.03.2016
Der Fokus des PhD-Projektes liegt auf der Entwicklung eines nicht-intrusiven bildbasierten Systems zur intentionsbasierten Interpretation von Benutzeraktionen auf der Grundlage von Multi-Modalitäten (z.B. Audio-, Mimik- und Aktionsanalyse), dessen Grundidee unabhängig von der Anwendung möglichst allgemein gültig sein soll.
Da die Interpretation von längeren Benutzeraktionen aufgrund von Benutzerfehlern, ungewöhnlicher Artikulation oder ungewöhnlichen Rahmenbedingungen immer komplexer wird, liegen die Forschungsschwerpunkte in diesem PhD-Projekt einerseits in der nicht-intrusiven Erfassung von Aktionen inklusive der Interpretation, andererseits in der geeigneten Repräsentation des Diskurskontextes und der Implementierung einer Bewertungsstrategie zum bestehenden emotionalen und intentionalen Zustand des Benutzers im Mehrpersonenszenario.
3D-Gesteninteraktion und Fusion von 3D-Bildern (GestFus)
Laufzeit: 01.11.2014 bis 01.03.2016
In der Allianz 3Dsensation arbeiten Partner aus verschiedenen wissenschaftlichen und wirtschaftlichen Bereichen mit unterschiedlichen Kompetenzen zusammen. Diese führen Form von Konsortien FuE-Projekte durch.Ziel in diesem Basisprojekt ist die Erarbeitung von Grundlagen für zwei Themenbereiche, die sich im Strategieprojekt zu 3Dsensation als besonders relevant und mit hohem Synergiepotential ausgestattet herausgestellt haben:
a) die 3D-Gesteninteraktion und
b) die Fusion von 3D-Bildern unterschiedlicher Quellen (inkl. Augmented Reality).
Im Institut für Informations- und Kommunikationstechnik der Otto-von-Guericke Universität Magdeburg werden die wissenschaftlichen Grundlagen und Forschungsergebnisse im Bereich 3D-Gestenineraktion bearbeitet. Diese Themen sollen nicht nur aufgearbeitet und auf die Themen von 3Dsensation fokussiert, sondern zusätzlich so aufbereitet werden, dass sie auch von den Partner späterer FuE-Projekte verstanden und umgesetzt werden können, die sich mit diesen Themen bisher nicht oder nur wenig beschäftigt haben.
Ein weiteres Ziel des Vorhabens ist die Erarbeitung und Definition eines Sets von Basisgesten . Dies ist eine Sammlung von Gesten z.B. zum Nehmen , Geben , in Räumen Navigieren , Bestätigen , Not-Aus" usw., die in verschiedenen Anwendungsfeldern möglichst universell eingesetzt werden können.
Ein wesentlicher Aspekt wird auch in Hand- und Körperbewegungen gesehen, die im Sinne der Vorausschau das Erkennen potentieller Gefahrensituationen bei der sicheren Mensch-Maschine-Kooperation gestatten.
Für die wichtigsten Gesten soll ein Demonstrator entwickelt werden, der die Gesteninteraktion als Proof-of-Concept validiert und veranschaulicht.Auch für die mimische Interaktion soll ähnlich wie in Bezug auf die Gesten-Interaktion verfahren werden.
3D-Sensorprinzipien
Laufzeit: 01.11.2014 bis 01.03.2016
Im Rahmen des BMBF-Förderprogramm Zwanzig20 Partnerschaft für Innovation wird für die Allianz "3DSensation" eine Studie zur branchenübergreifenden Anwendbarkeit von 3D-Sensorprinzipien durchgeführt. Gesamtziel dieses Basisprojektes ist die Identifikation von technologie- und bedarfsfeldübergreifendem F&E Bedarf auf dem Gebiet der 3D-Sensorik, um die vollständige 3D-Erfassung und 3D-Interaktion durch Maschinen zu verbessern. Dazu ist eine rigorose wissenschaftliche Analyse und Bewertung unterschiedlichster vorhandener 3D-Sensortechnologien erforderlich bei Einbeziehung möglichst vieler Partner mit unterschiedlichsten Kompetenzen. Aufbauend auf dieser Grundlage gilt es, das Potential möglicher 3D-Sensorinnovationen zu analysieren.
Im Teilprojekt der Otto-von-Guericke Universität sollen insbesondere Verfahren präzisen und schnellen 3D-Oberflächenvermessung untersucht werden. Im Fokus stehen photogrammetrische Messverfahren die mit aktiver und passiver Beleuchtung arbeiten.
Mobile Object Tracking Using Metaheuristics
Laufzeit: 01.10.2013 bis 01.01.2016
This research project is a fund supporting a collaboration between the University Mohammed 5, Morocco and the Otto-Von-Guericke University, Germany. This cooperation is under the framework of a sandwich program, and the topic of the financed research is "Mobile object tracking using metaheuristics". After having successfully integrated the cuckoo search optimization algorithm, which is a recent and highly discussed metaheuristic, combined with the Kalman filter into the task of tracking a single object in a video sequence, we are now aiming for the integration of the modified cuckoo search algorithm in the tracking of multiple moving objects. This should lead to a robust tracker providing accurate real-time performances. The main aim of this research cooperation project is, on the one hand to build a connexion between the Moroccan and the German university, and on the other hand to develop the quality of Moroccan researches and connect the Moroccan research community with the international industry.
Trackingbasierte 3D-Rekonstruktion laminarer Risse und Rissbrücken durch Auswertung von Ultraschallsignalen
Laufzeit: 01.07.2014 bis 01.01.2016
Wasserstoffinduzierte Rissbildung bei Behältern zur Medienspeicherung stellt für den Betrieb von Raffinerien und chemischen Anlagen einen erheblichen Risikofaktor dar. Die derzeit verfügbaren Prüfmethoden bei regelmäßig durchzuführenden Revisionen basieren im Wesentlichen auf einzelnen Ultraschallmessungen und einer subjektiven Schätzung zur Flächenausdehnung detektierter Risse. In der Praxis werden dadurch die Behälter oft früher ausgetauscht als zwingend notwendig wäre. Ziel des Projektes ist die Entwicklung einer neuen Technologie, die eine dreidimensionale Rekonstruktion wasserstoffinduzierter Rissbildung ermöglicht. Durch das Aussenden breitbandiger longitudinaler und transversaler Ultraschallwellen, kann durch Triangulation auf die exakte geometrische Position eines Risses im Material geschlossen werden. Die neue Technologie soll mit einer entsprechenden Softwarelösung detektierte Risse im Material auch dreidimensional darstellen können, was durch Vergleiche mit früheren Messungen sogar Aussagen über das Risswachstum zulässt und damit insgesamt zu einer objektiveren sowie genaueren Bewertung des Risikofaktors im Raffineriebetrieb führt.
Automatische Erkennung arabischer Handschrift
Laufzeit: 01.01.2011 bis 31.12.2015
In dieser Arbeit werden Methoden zur automatischen, segmentierungsbasierten Erkennung arabischer Handschrift untersucht und weiterentwickelt. Da sich bisher noch kein zuverlässiger Segmentierungsalgorithmus für arabische Handschrift durchgesetzt hat, werden verschiedene Segmentierungsvarianten nacheinander abgearbeitet, um anschließend die plausibelste Variante zu wählen. Zusätzlich wird für jede Segmentierungsvariante das erkannte Wort mit einem Lexikon verglichen, was ebenfalls Rückschlüsse auf die Korrektheit der Segmentierung ermöglicht und es erlaubt einige Erkennungsfehler zu korrigieren. Es werden hierzu mögliche Vorgehensweisen für die explizite Segmentierung, Merkmalsextraktion und Klassifizierung verglichen und implementiert. Auch die gängigen Klassifikatoren werden auf ihre Eignung untersucht und neuronale Netze zur Bestimmung der Gewichte der einzelnen Merkmale implementiert. Dies kann auch durch genetische Algorithmen trainiert werden.
3Dsensation Strategiephase
Laufzeit: 01.01.2014 bis 30.06.2015
Im Rahmen der der Strategiephase im BMBF-Förderprogramm "Zwanzig20 - Partnerschaft für Innovation" werden Arbeiten zur "Forschung - 3D-Informationsverarbeitung" und zur "Bildung" durchgeführt. Dies umfasst die Ausarbeitung der Strategie und Analyse der notwendigen Technologien zur präzisen dreidimensionalen Repräsentation statischer und dynamischer Objekte, um entsprechend der Erfordernisse aus den Bedarfsfeldern derartige Technologien zu entwickeln. Dies mündet in der Ausarbeitung einer Roadmap für die zu erarbeitende 3DInformationsverarbeitung mit den Schwerpunkten Gesichts- und Köperpose sowie auch adaptive Modellierung des menschlichen Körpers.
Der weitere Schwerpunkt beinhaltet die Konzipierung z.B. eines transdisziplinären Masterstudiengangs und eines Graduiertenforschungskollegs sowie der Weiterentwicklung von Ausbildungsprogrammen im Bereich der beruflichen Bildung. Der Masterstudiengang wird Themen der Mensch-Maschine-Interaktion z.B. "Ambient Intelligence" oder "Interaktive Assistenzsysteme" zum Inhalt haben.
Bildbasierte Emotionserkennung und -quantifizierung auf der Grundlage der Datenfusion
Laufzeit: 01.05.2012 bis 01.05.2015
Analog zur Mensch-Mensch-Kommunikation wird die Mensch-Maschine-Interaktion als Interaktion zweier Agenten betrachtet, die kooperativ ein Problem lösen, Wünsche und Ziele ihres Gegenübers erkennen, sich an sie anpassen sowie sich des Diskurskontextes und seiner Regeln bewusst sind. Der Versuch diese Aspekte von Interaktionen explizit zu erfassen und zu modulieren, sind die Aufgaben einer adaptiven Benutzungsschnittstelle. Dabei wird die Schnittstelle durch Wissen über den momentanen Status, das Ziel und den emotionalen Zustand des individuellen Benutzers dynamisch angepasst. Hierzu reicht die typische Verarbeitungskette von der Merkmalsfindung und -extraktion bis zur Emotionsklassifikation und -quantifizierung. Die Kombination von Bilddaten mit Sprachdaten zur Segmentierungserfassung zwecks Mimikerkennung im Mehrpersonenszenario ist hierbei ein viel versprechender neuartiger Ansatz, der nicht nur eine robuste Klassifikation von unterschiedlichsten Arten von statischen und dynamischen Gesichtsausdrücken, sondern auch die Echtzeit-Adaption der Benutzungsschnittstelle an die aktuellen Benutzeraktionen erlaubt.
Radar-Tracking und Klassifizierung für Verbesserung der Sicherheit im Straßenverkehr
Laufzeit: 01.08.2011 bis 01.01.2015
Die Zielsetzung diese Projektes ist die Entwicklung eines innovativen Sicherheitssystems zur Verbesserung des Schutzes von den so genannten ungeschützen Verkehrsteilnehmern (Fußgänger, Radfahrer). Erreicht werden soll dies in erster Linie über den Einsatz eines neu entworfenen 24 GHz Radarsensors, der neue Maßstäbe in puncto- Situationsanalyse aufbietet und gleichzeitig die bisherigen Fahrerassistenzfunktionen abdeckt. Das System wird für Untersuchungs- und Testzwecke auf zwei Versuchsträgern integriert. Diese besitzen zusätzlich Aktoren zur automatischen Kontrolle der Fahrzeugdynamik, um entsprechende Manöver zur Unfallvermeidung auszuführen (z.B. automatisches Bremsen und Ausweichen). Bevor die ersten Tests stattfinden können, erfolgt jedoch eine gezielte Unfallanalyse und die Erarbeitung adäquater Algorithmen zur Umgebungs- und Fußgängererkennung. In Betracht gezogen wird ebenfalls die Erweiterung des System mit anderer Sensorik (Kamera, LIDAR), um mittels Verfahren der Datenfusion die Ergebnisse zu verbessern bzw. zu überprüfen.
Companion-Technologie in automotiven Anwendungsszenarien zur Werkerassistenz mittels mobiler Augmented Reality
Laufzeit: 01.05.2012 bis 31.12.2014
In diesem interdisziplinären Verbundprojekt zwischen Informationstechnik (IESK), Allgemeiner Psychologie (Uulm) und Anwender (VW und IFF) besteht das Ziel in der Entwicklung und Erprobung von Verfahren zur möglichst natürlichen Interaktion mit Hilfe nicht-intrusiver Handgesten und der damit verbundenen Interaktionserkennung. Die Gestenerfassung erfolgt unter Einbeziehung des Körper- und Umgebungskontextes, ihre Klassifikation durch Fusion von statischen und dynamischen Gesten, die Erkennung von Gestiksequenzen mittels bildbasierter Verfahren. Dafür soll ein robustes prototypisches Sys-tem auf Grundlage der erzielten Ergebnisse im Rahmen des Teilprojektes C1 des SFB/TR 62 im Kontext der geplanten Anwendungsdomänen entwickelt, modifiziert und validiert werden. Die Auswahl der Gesten, Geräte und weiterer Implementationsentscheidungen basiert u.a. auf psychologischen Erkenntnissen und wird mittels experimenteller Untersuchungen abgesichert; die Erprobung findet über Nutzerstudien statt. Das Anwendungsszenario wird zunächst prototypisch als Demonstrator am Fraunhofer IFF aufgebaut, damit notwendige Detailentscheidungen zur Im-plementierung auf Basis einer quasi-realistischen Arbeitsumgebung getroffen werden können.
Weiterentwicklung und systematische Validierung eines Systems zur automatisierten Schmerzerkennung auf der Grundlage von mimischen und psychobiologischen Parametern
Laufzeit: 01.07.2011 bis 30.11.2014
Die objektive Erfassung subjektiv multidimensional erlebter Schmerzen ist ein bislang unzureichend gelöstes Problem. Insbesondere in der klinischen Schmerzmessung sind verbale Verfahren (Schmerzskalen, Fragebögen) und visuelle Analogskalen üblich, die allerdings bei mental beeinträchtigten Personen wenig reliabel und valide sind. Expressive Schmerzäußerungen und/oder psychobiolgische Parameter können eine Lösung bieten. Es existieren solche Kodierungssysteme, die jedoch mit einem sehr hohen Aufwand verbunden sind oder nicht ausreichend testtheoretisch evaluiert wurden. Aufbauend auf den bisherigen Erfahrungen soll ein System zur automatischen Schmerzerkennung aus visuellen und biomedizinischen Daten weiterentwickelt, die testtheoretische Qualität ermittelt und seine Leistungsfähigkeit optimiert werden. Hierfür werden Probanden unter kontrollierten Bedingungen schmerzhaften Reizen ausgesetzt und mimische und psychobiologische Parameter zur Messung eingesetzt. Zur Gewinnung der Mimikparameter sollen verschiedene Methoden der Bildverarbeitung und Mustererkennung zur Gesichtsanalyse angewendet und weiterentwickelt werden. Auf Basis der statischen und dynamischen Gesichtsmerkmale aus zeitlichen Bildfolgen sowie psychobiologischen Daten sollen schmerzrelevante Merkmale identifiziert und ein automatisches System entwickelt werden, mit dem Schmerzen qualitativ und quantitativ gemessen werden können.
Automatisierte Tankdachprüfung
Laufzeit: 01.10.2012 bis 01.04.2014
Hauptziel des geplanten Vorhabens ist es, ein neues autonom arbeitendes Messsystem zu entwickeln, um Tankdächer auf Raffinerien oder chemischen Anlagen mit dem Anspruch einer 100% Kontrolle auf Korrosionsabtrag zu prüfen.
Wesentlich ist die Entwicklung einer Technologie, die den Einsatz eines speziellen Roboters für eine flächendeckende Tankdachdankprüfung mit Korrosionsabtragsmessung ermöglicht. Der Roboter soll sich autonom auf dem Tankdach bewegen können und damit einen menschlichen Prüfer zur Verringerung des vorhandenen Gefahrenpotentials ersetzen. Der Roboter wird dazu mit verschiedenen Sensoren ausgestattet. Ein Ultraschallmesssystem wird an der aktuellen Position jeweils die Wanddicke des Daches messen. Ein optisches System und auf dem Dach platzierte Landmarken sollen dem Roboter ermöglichen, seine Position selbst zu bestimmen, wobei er während des Abfahrens eine virtuelle Karte mit den Wanddicken generiert. Zusätzliche Sensoren können wie bei modernen PKWs für eine Kollisionserkennung verwendet werden.
Umgebungserkennung /Environment Perception
Laufzeit: 01.01.2009 bis 31.12.2012
Teilprojektziele sind die Umgebungserkennung, dynamische Umgebungsmodellierung und Basisklassifikation von Gesten potentieller Nutzer des Companion-Systems. Zur Umgebungserfassung werden Methoden zur Multi-Sensorfusion, Informationsfusion und zeitlichen Filterung basierend auf der Finite Sets Theorie erforscht und weiterentwickelt, die eine gleichzeitige Schätzung der Objektexistenz und des Objektzustandes erlauben. Die nicht-intrusive Erkennung von Nutzergesten erfolgt bildbasiert unter Nutzung von Hidden-Markov-Modellen.
Intentionsbasierte Interpretation von Gestensequenzen
Laufzeit: 01.07.2009 bis 31.12.2011
Die automatische Erkennung der Gestik des Nutzers hat in der Mensch-Computer-Interaktion bei der Realisierung von Interaktionsaufgaben einen wachsenden Stellenwert. Zusammen mit einem adaptiven Plan und den aktuellen Aktionen des Benutzers, kann eine Bestimmung der Intentionen des Benutzers bezüglich seiner weiteren Bedienschritte/Interaktion ermöglicht werden.
Im Rahmen dieses Forschungsprojektes werden die Kopfregion, Gesichtsregion, Hände und Arme des Nutzers stereophotogrammetrisch erfasst, um daraus mittels bildbasierter Verfahren Bewegungen, Gestiken und Kopfhaltungen zu erkennen. Vorteil dabei ist, dass der Anwender nicht mit umständlichen Eingabegeräten hantieren muss, sondern durch die Bewegung seines Körpers intuitiv mit der Maschine interagiert. Verstärkt sollen dabei zweihändige Gesten untersucht und die damit verbundenen gestenbasierten Interaktionstechniken erweitert werden. Zur Erzeugung dieser Interaktionstechniken kann hier auf einfache dynamische und statische Gesten für die Interaktionsaufgaben in Verbindung mit einem adaptiven Plan zurückgegriffen werden. Als Erprobungsdomäne können u.a. Szenarien aus dem Bereich der Gebärdensprache oder von Stadtbesichtigungen dienen.
Pilotstudie zur Entwicklung eines Systems zur automatisierten Schmerzerkennung in der postoperativen Phase
Laufzeit: 01.01.2008 bis 31.12.2008
Aufgabe des Projektes ist es, die kameragestützte automatische Analyse von schmerzbedingten Veränderungen des Antlitzes auf ihre Praktikabilität zu untersuchen. Schmerz ist ein regelmäßig im postoperativen Verlauf auftretendes Ereignis, dass durch personalaufwendige Untersuchungsmethoden oft unzureichend oder verspätet erkannt wird und eine ausgeprägte faciale Reflektion aufweist. Dafür bietet die Bildverarbeitung leistungsfähige Algorithmen zur Gesichtserfassung, Merkmalsextrahierung wie auch Mimikanalyse. Im Projekt sollen diese Algorithmen in einem ersten Schritt an Probanden untersucht und in Hinsicht auf Erkennung und Quantifizierung von Schmerzen weiterentwickelt werden. Es erfolgt die Bildaufnahme und Mustererkennung vorerst in farbigen Raum-Zeit-Bildern vom menschlichen Gesicht unter Schmerzen. Dabei werden die Probanden einem definierten Schmerzreiz ausgesetzt und die Schmerzintensität mit klinischen Methoden gemessen. Es werden geeignete Gesichtsmerkmale zur Bewertung der individuellen Schmerzintensität durch die Einbeziehung von Medizinern und beim Training des Systems parallel erfasste biomedizinische Daten festgelegt. Basierend auf der Merkmalsauswahl erfolgt die Klassifikation auf der Grundlage der Merkmalsänderungen, die durch Muskelaktivität hervorgerufen werden.