OmniConnect Projekt

Das Projekt

Das Projekt hat das Ziel, den momentanen Ort sowie Zustände von beweglichen Objekten im häuslichen Umfeld zu erfassen, zu registrieren und auf Wunsch Nutzer:innen mitzuteilen. Dies können die verschiedensten Objekte sein, z. B. Schlüssel, Fernbedienung, Tür, Fenster, aber auch Menschen.

Die Objekte werden mit ca. 1-2 cm² großen passiven Tags ausgerüstet, deren momentaner Ort über ein 60GHz-MIMO-Radar mit einer Genauigkeit von ca. 5cm erkannt werden kann. Die Tags werden als flexible Substrate entworfen und können auf die beweglichen Objekte aufgeklebt oder in Kleidung eingenäht werden. Die Energie für die Tags wird dabei aus dem Radarsignal gezogen, weshalb weder Batterien noch andere Energiequellen benötigt werden. Dieses Konzept wird auch als Sekundar-Radar bezeichnet und ist aus der Flugsicherung bekannt. Daher müssen die Nutzer:innen im Alltag auch keine Batteriewechsel vornehmen. Das Radarsystem wird innerhalb des Projektes in Form einer halbkugelförmigen Lampe ausgestaltet (siehe Grafik) und über WiFi-Verbindung mit anderen bereits im Haus installierten Sensorsystemen verbunden werden. So kann diese neue Sensortechnik mit heute bereits existierenden kommerziellen Systemen zusammenarbeiten und diese ergänzen.

Das OmniConnect-System soll Nutzer:innen vor allem in zwei Situationen unterstützen: 1. Der/die Nutzer:in hat ein bestimmtes Objekt verlegt und sucht es, z. B. das Handy, und 2. Der/die Nutzer:in interessiert sich für den Zustand eines Objektes, z. B. möchte er/sie unterwegs wissen, ob ein bestimmtes Fenster geschlossen oder offen ist. Dabei sollen sowohl sprachliche Anfragen über programmierbare Spracherkennungssysteme als auch grafische Informationen über eine Smartphone-App entwickelt werden. Zu allen Stadien des Projektes werden Nutzer:innen über Fokusgruppen, Labortests oder Feldtests eingebunden. In einem Home-Labor werden die Technologien mit Nutzer:innen in Realumgebung erprobt.

Ziele

1. Tags und Radarsystem

Im Projekt wird ein neuartiges Konzept für ein Sekundärradar verfolgt. Aktuelle Systeme verwenden typischerweise aktive Tags. Da aber in diesem Projekt unterschiedlichste Alltagsgegenstände und auch Kleidung damit ausgestattet werden sollen, sind aktive Tags keine Option. Innerhalb des Projektes werden passive Tags entwickelt, welche keine Batterie benötigen. Dieser Ansatz ist heute schon für UHF-RFID-Systeme etabliert, welche aber bei einer viel niedrigeren Frequenz (868 MHz) arbeiten. Da die Rückantwort der Tags durch Modulation des Rückstreuquerschnitts passiert, muss sichergestellt werden, dass das Radarsystem genügend Empfindlichkeit besitzt, um die Variation der Signalamplitude zu detektieren. Der Hauptfokus wird daher bei dem Radarsystem liegen, welches halbkugelförmig an der Decke befestigt werden soll und über eine drahtlose Schnittstelle Daten ins Home-Automatisierungssystem einspeisen kann. Das System wird aus mehreren MIMO-Radarsystemen bestehen und damit verschiedene Raumwinkel (360°) abdecken können. Um das System umzusetzen wird auf konforme Elektronik zurückgegriffen, welche am IZM entwickelt wurde und in diesem Projekt zum ersten Mal für Radartechnologien eingesetzt wird.

Abbildung 2: prinzipieller Aufbau des Systems als modulare Deckenlampe

Innerhalb des Projektes werden verschiedene Tags entwickelt. Für die Sensorfusion wird ein aktiver Tag entwickelt, um Gegenstände sehr exakt orten zu können. Für die Low-Energie-Anwendung wird ein rein passiver Tag entwickelt, welche aber eine höhere Ungenauigkeit bei der Ortung aufweist. Das 60 GHz-Band, welches hier angewendet werden soll, besteht zurzeit aus vier verschiedenen Kanälen, welche alle eine Bandbreite von ca. 2.15 GHz aufweisen.

Abbildung 3: Schematische Darstellung der Tags

2. Sensorfusion

Das Radarsystem wird pro Zeitschritt die sichtbaren Tags zu einer bestimmten Genauigkeit im Raum lokalisieren. Die genannten Anwendungen setzen allerdings eine kontinuierliche Verfolgung der Tags voraus sowie eventuell eine genauere Lokalisation als mit einer Beobachtung möglich ist. Diese Informationen werden aus der Historie der Radarbeobachtungen über Sensorfusionsmethoden, wie zum Beispiel Kalman-Filter, geschätzt. Die geschätzten Zustände beinhalten Position, Geschwindigkeit und Beschleunigung, jeweils pro verfolgtem Tag. Abgeleitete Zustände, wie zum Beispiel der Öffnungswinkel einer Tür, werden über nachgelagerte Filter geschätzt. Besondere Innovationen über den Stand der Technik der Zustandsschätzung hinaus sind durch die bisher nicht existente Anwendung im häuslichen Umfeld mit vielen nicht miteinander korrelierten Bewegungsmustern zu erwarten. Dies tritt z. B. auf, wenn einzelne Gegenstände getrennt im selben Raum bewegt werden.

3. Bewegungs- und Verhaltensanalyse

An Textilien angebrachte Tags versprechen einen sehr hohen Mehrwert für die unaufdringliche und datenminimierende Bewegungsanalyse. Die Tags können nicht mehr vergessen werden und durch die Verfolgung können Bewegungstrajektorien abgeleitet werden. Falls ein Oberteil oder Hose getragen wird, kann sogar ein Sturz erkannt werden. Im Projekt wird darüber hinaus untersucht, wie korrelierte Bewegungen einzelner Tags zueinander (ein Mensch trägt mehrere Kleidungsstücke) oder eine räumliche Wiederholung (Tag an der Tür) erkannt werden können. Durch Korrelation der Kookkurrenz mehrerer Kleidungsstücke, z. B. durch Bayessche Netze, können wiederum Individuen identifiziert werden. Aus diesen Informationen sollen Verhaltensmuster erlernt werden, die zur Vorhersage und Auslösen von Aktionen in der Benutzerschnittstelle benutzt werden.

4. Entwicklung von Nutzerschnittstellen

Die mit dem Radarsystem realisierte hochgenaue Ortung ermöglicht es Nutzer:innen, Informationen über den derzeitigen Ort beweglicher Objekte zu erfahren. Die Nutzer:innen können das System fragen, wo ein bestimmtes Objekt ist oder wie der Zustand eines Objektes ist, z. B. „Wo ist mein Schlüssel?“ oder „Ist das Dachfenster geschlossen?“. Sie können ihre Anfragen verbal an das System stellen (z. B. über einen Lautsprecher) oder über eine App auf ihrem Smartphone und/oder Tablet. Die Schnittstellen werden sowohl in der Designphase als auch in der Evaluierungsphase mit Probandenbegleitung durchgeführt. So können die Nützlichkeit und Akzeptanz des Systems auch schon vor Fertigstellung des Radarsystems evaluiert werden.

5. Einbindung in die vorhandene Strukturen

Momentan adressiert das Smart-home-System casenio des Partners Die Netz-Werker AG hauptsächlich ältere Menschen, die alleine leben oder größere Zeitstrecken des Tages alleine verbringen. Im Projekt wird die neue Radarsensorik, die entwickelten KI-Algorithmen und die Nutzerschnittstellen in die Softwarestruktur des casenio-Systems integriert. Dazu werden zunächst die erforderlichen Schnittstellen entwickelt. Ein Kernpunkt ist die Etablierung einer Zeitsynchronisierung zur Gewährleistung der Echtzeitanforderungen. In weiteren Arbeitsschritten werden die bestehenden KI-Algorithmen auf Basis der neuen zur Verfügung stehenden Bewegungsdaten modifiziert.

6. Behandlung von ELSI-Fragestellungen und Datenschutzkonzept

Neben der permanenten Einbindung von Nutzerbedarfen bei der Systementwicklung werden im Projekt Datenschutzthemen sowie rechtliche und ethische Themen bearbeitet. Im Datenschutzkonzept werden die grundlegenden Datenflüsse und deren Schutzniveau beschrieben. Forschungsdaten sollen nur in anonymisierter Form erfasst und anonym an andere Partner weitergegeben werden. Für den Fall, das Partner personenbezogene Daten erheben, sollen diese auch Verantwortliche im Sinne der DSGVO für ihre Daten sein. Der genaue Umgang mit den Daten wird in den Informationsblättern für die jeweiligen Probanden explizit beschrieben.

Multiple Vernetzung von Alltagsgegenständen über 60GHz-Label