Meldung
24.03.2022

ForeSight: Zwischenbilanz 01/2022

Im ersten Quartal des Jahres 2022 wurden in ForeSight bemerkenswerte Fortschritte beim sogenannten softwarebasierten „Multisensor“ erzielt. Softwarebasierte Sensoren nutzen künstliche Intelligenz. Sie sind besonders interessant, weil viele wichtige Daten – zum Beispiel für Sicherheit und Assistenz, aber auch Energieersparnis – mit Ihrer Hilfe mit einem sehr geringen Hardwareaufwand erhoben werden können. Forscher des DFKI und des Konsortialpartners INSTA entwickelten eine verbesserte zweite Version und verbauten diesen Software-definierten Sensor in den Laborumgebungen der FH Dortmund und weiterer Testwohnungen. Die historischen, realzeitnahmen Daten der Multisensoren und weiterer Smart Home Sensorik fließen seitdem in den ForeSight Dataspace ein.

FORESIGHT-Logo
© Projekt FORESIGHT
FORESIGHT-Logo

Während klassische Sensorprodukte für einen Zweck optimiert wurden (z.B. Bewegungsmelder), bieten Software-definierte Sensoren die Möglichkeit, mit gleichartigen Sensorpaketen virtuelle, „Sensoren“ zu bilden, die bei gleicher grundlegender Hardware-Ausstattung mit Künstlicher Intelligenz- bzw. Machine Learning-Methoden unterschiedliche, kontextabhängige, virtuelle Funktionen ermöglichen. Virtuelle Sensoren können in Verbindung mit künstlicher Intelligenz nicht nur völlig neuartige Sensordaten liefern, sondern sogar auch – je nach Situation – fehlende Hardware-Sensoren in Gebäuden ersetzen. Die Basis für Software-definierte Sensoren ist das sogenannte Thinking Object-Konzept, welches zusammen mit Software-definierten Sensoren einen wesentlichen Beitrag für die geforderte Langfriststabilität der angebotenen Fähigkeiten und Funktionen einer Wohnung bzw. eines Gebäudes liefert.

Ein Beispiel: Reine Präsenz- oder Bewegungsmelder sind seit Jahrzehnten zur automatischen Lichtschaltung oder Alarmmeldung im Einsatz. Im Smart Home der Zukunft können weitere Aktionen vorgenommen werden, je nach er­kann­ter Situation und dem aktuellen Wohnumfeld der Mietenden. Die Aktivitätserkennung über den Multisensor in Verbindung mit KI hilft beispielsweise die Beleuchtung, Temperatur und Belüftung aktivitätsadaptiv zu regeln. Die Kontexterkennung kann für Komfortmerkmale genutzt werden, z.B. die passende Musik in der richtigen Lautstärke zu spielen, dazu die geeignete Lichtstimmung einzustellen oder sogar den bevorzugten Menulieferdienst zu kontaktieren.

Technische Aspekte des Multisensors

Die Sensoranbindungen des Multisensors kommunizieren mit den Sensoren über die entsprechenden Schnittstellen und den dazwischenliegenden Hardware-Treibern (I²C, SPI, I²S). Alle Sensorwerte, die durch MQTT nach außen übertragen werden, werden zentral durch das Modul „Messwerte-Erfassung“ eingeschrieben und weiterverarbeitet. Hier werden ebenfalls alle benötigten Filter für die Werte implementiert, welche durch die entsprechende MQTT-Konfiguration hinzugeschaltet werden können. Daten mit hohen Echtzeitanforderungen (z.B. Mikrofon-Audio-Stream) werden per RTP übertragen. Die Grundkonfiguration (WLAN, NTP, MQTT) geschieht über Website oder Konfigurations-App.

Zu Beginn des Jahres 2022 wurde die Firmware-Entwicklung des Multisensors optimiert und den geänderten Anforderungen in Zusammenarbeit mit der FH Dortmund angepasst. Die Stabilität des Programmablaufs und der Datenübertragung ist nun für Serienaufnahmen in der Applikationsumgebung geeignet. Seitdem sind zehn Multisensoren in der Loborumgebung des Konsortialpartners FH Dortmund im Einsatz, acht weitere in verschiedenen Testfeldern bei Insta bzw. – begünstigt durch das mobile Arbeiten in Corona-Zeiten – im heimischen Umfeld von involvierten Mitarbeitern

Auswahl und Update der Multisensor-Firmware unabhängig vom Ort

Intensiv wurde auch die Kalibrierung aller einzelnen Sensoren betrieben, insbesondere die maßgebliche Temperaturkompensation mittels eines dem Kalibrierdienst unterlegenen Eichgerätes. Ein Bootload-Prozess für die Multisensor-Firmware wurde erstellt, der bei Zugriffsmöglichkeit auf das Internet die Möglichkeit zu Auswahl und Update der Multisensor-Firmware unabhängig vom Ort erlaubt. Hierzu wurde ein Firmware-Manager als Cloud-Service erstellt (EntwicklungsTool: Flutter), der ausschließlich für die Bereitstellung der Firmware (Produktiv-Version oder Betaversion) für Entwickler erstellt wurde.

Historische, realzeitnahe Daten aus den Multisensoren, als auch aus weiterer SmartHome Sensorik, werden nun über das Sematic Gateway mit dem IKT Cloud Digital Twin synchronisiert und weiter in die ForeSight Plattform geleitet. Die im IKT Cloud Digital Twin zur Verfügung stehenden Thing Descriptions (SENSE WoT) werden zyklisch vom ForeSight Thing Discovery Service synchronisiert.