Semantic Folding für Sensor Fusion
Wie Semantic Folding die Echtzeitverarbeitung von Sensor Fusion Daten ermöglicht und gleichzeitig die Zuverlässigkeit autonomer Systeme erhöht
Was ist Sensor Fusion?
Sensor Fusion ist der Schlüssel zum autonomen Betrieb. Es geht darum, Daten von mehreren Sensoren zu kombinieren, um ein genaueres und umfassenderes Verständnis eines Systems oder einer Umgebung zu erhalten. Sensor Fusion analysiert Muster, um unerwartete Anomalien zu erfassen und dadurch die Kontrolle und Vorhersagbarkeit erheblich zu verbessern. Sensor Fusion wird häufig in intelligenten Anwendungen in vielen Branchen eingesetzt, z. B. in der Fertigung, im Automobilbau, in der Luft- und Raumfahrt, bei Energieversorgungsunternehmen und im Gesundheitswesen.
Die Herausforderungen der Sensor Fusion
Das Ziel von Sensor Fusion ist es, sowohl die Zuverlässigkeit der Statusinformationen über ein System zu verbessern als auch einen umfassenden Überblick über komplexe Systeme in Umgebungen mit ständig wechselnden Bedingungen zu bieten. Um diese Vision Wirklichkeit werden zu lassen, müssen jedoch besondere Herausforderungen bewältigt werden, die mit der erheblichen Komplexität und den Rechenanforderungen von Sensor-Fusion-Systemen zusammenhängen:
Eine wachsende Zahl von Sensoren liefert einen ständigen Strom von Daten in verschiedenen Formaten und uneinheitlicher Qualität.
Die Echtzeitverarbeitung ist in vielen Fällen nicht machbar, da sie die Leistung beeinträchtigt und die Reaktion des Systems verlangsamt.
Sensor Fusion ist noch nicht skalierbar, da die Anpassung an eine neue Umgebung zusätzliche Kosten verursacht.
Die verschiedenen Sensorsysteme lassen sich nur schwer in eine einzige Sensor-Fusion-Plattform integrieren.
Was ist Semantic Folding?
Semantic Folding stammt aus der Textdatenanalyse, wo sie zur Erfassung der semantischen Eigenschaften von Textdaten in topografischen Darstellungen, den so genannten semantischen Fingerabdrücken, verwendet wird. Die Ähnlichkeit von Semantic Fingerprints wird durch die Messung ihrer Überlappung berechnet, eine Methode, die aus der Mengenlehre stammt und sich bei großen Datenmengen als äußerst genau und effizient erwiesen hat.
In konzeptioneller Analogie haben wir die Semantic Folding-Methode auf numerische Daten ausgeweitet und damit einen neuartigen Ansatz für die Integration von Sensordaten vorgestellt, der die Einschränkungen der oben beschriebenen konventionellen Sensor-Fusion-Methoden überwindet.
Wie funktioniert Semantic Folding für Sensor Fusion ?
Jeder Satz von Sensorwerten repräsentiert einen Fahrzeugzustand zu einem bestimmten Zeitpunkt. Wir beschreiben diesen Satz als "Kontext", analog zu einem Satz in Textdaten, bei dem jeder Sensorwert ein "Wort" ist.
Die Erstellung einer semantischen Karte ist ein vollständig unüberwachtes Training, bei dem jedem Satz von Sensorwerten (=jedem Kontext) eine bestimmte Position innerhalb der Karte zugewiesen wird, und zwar so, dass ähnliche Datensätze nahe beieinander und unähnliche Datensätze weit voneinander entfernt platziert werden. Diese räumliche Organisation innerhalb eines metrischen Raums hebt die Ähnlichkeit und Unähnlichkeit von Messdaten wirksam hervor.
Sobald die Verteilung der Sensorkontexte innerhalb der semantischen Karte festgelegt ist, können die semantischen Fingerabdrücke für jeden einzelnen Sensorwert generiert werden: Für jeden Wert prüft das System, in welchen Kontexten (oder Satz von Sensorwerten) er enthalten ist und markiert diese Positionen als "1" auf einer leeren Karte. Der semantische Fingerabdruck eines Sensorwertes ist eine Karte, in der alle Kontexte, die diesen Wert enthalten, aktiviert sind. Die Sammlung dieser semantischen Fingerabdrücke bildet das Sensordatenwörterbuch.
Wie kann Semantic Folding die aktuellen Herausforderungen bei Sensor Fusion lösen?
Semantic Folding geht auf die aktuellen Probleme von Sensorfusionssystemen ein, indem es Sensordaten in semantische Fingerabdrücke umwandelt - kompakte, strukturierte Darstellungen, die den Status des Systems zu einem bestimmten Zeitpunkt widerspiegeln. Diese semantischen Fingerabdrücke erleichtern die Echtzeitverarbeitung, da sie vergleichsweise wenig Rechenressourcen erfordern, den Integrationsprozess vereinfachen und die Zuverlässigkeit des Systems insgesamt erhöhen.
Durch die Verwendung einer einheitlichen und aussagekräftigen Darstellung für alle Sensordaten kann Semantic Folding die Informationen von mehreren Sensoren effizient integrieren und so eine genauere und robustere Einschätzung des Zustands des überwachten Systems liefern. Wenn ein Sensor ausfällt oder fehlerhafte Daten liefert, kann sich das System auf die Daten anderer Sensoren verlassen, um die Leistung und Genauigkeit aufrechtzuerhalten (Redundanz).
Durch die Verwendung einer einheitlichen Darstellung für alle Sensordaten ermöglicht Semantic Folding eine einfache Rechnerarchitektur.
Die Verarbeitung von Semantic Fingerprints erfordert um Größenordnungen weniger Rechenressourcen als die Verarbeitung von Rohdaten von Sensoren.
Neue Sensoren und Funktionen können hinzugefügt werden, sobald sie verfügbar sind oder sich die Anforderungen ändern, ohne dass das gesamte System neu gestaltet werden muss.
Alle Sensordaten werden in ein einheitliches Format konvertiert, das den Integrationsprozess vereinfacht.
Anwendungsbeispiel: Automobilindustrie
Moderne Autos verfügen über eine Vielzahl von Sensoren, die alle wichtigen Teilsysteme wie den Motor, die elektrische Anlage, die Beleuchtung, die Fahrerkabine usw. überwachen. All diese Messungen werden an einen Bordcomputer weitergeleitet, der jede potenzielle Anomalie erkennt und die erforderlichen Folgemaßnahmen einleitet. Normalerweise kann man davon ausgehen, dass mindestens 50-100 Messungen pro Sekunde anfallen. Bei autonomen Fahrzeugen wird die Anzahl der Sensorströme wahrscheinlich noch weiter ansteigen, was Sensor Fusion und damit die Zuverlässigkeit des Systems zu einer echten Herausforderung macht.
Was passiert, wenn im Motor eine Temperatur von 140 °C gemessen wird?
Ohne Sensor Fusion-System vergleicht der Bordcomputer einfach den gemessenen Wert mit dem akzeptierten Temperaturbereich und löst eine Fehlerprozedur aus, wenn die Temperatur außerhalb dieses Bereichs liegt. Dass die Motortemperatur 140°C erreicht, kann aber mehrere Ursachen haben, die nicht alle ein Alarmsignal auslösen müssen - zum Beispiel, wenn das Auto bergauf fährt oder die Umgebungstemperatur besonders hoch ist.
Die genaue Erkennung einer Anomalie setzt voraus, dass der gemessene Wert in seinen Kontext eingeordnet wird, was durch Semantic Folding für Sensor Fusion ermöglicht wird.
Der semantische Referenz-Fingerabdruck des Temperatursensors von 140 umfasst die verschiedenen Kontexte, in denen sich eine derart hohe Temperatur manifestiert, wie z. B. Bergfahrten, Autobahnfahrten oder Sommerwetter. Beim Fahren unter realen Bedingungen vergleicht das Fahrzeugsystem in Echtzeit die tatsächlichen Temperatur-Fingerabdrücke mit dem Referenz-Fingerabdruck und löst nur dann ein Alarmsignal aus, wenn es unerwartete Cluster-Kombinationen feststellt - zum Beispiel eine Temperatur von 140°C bei einer Bergabfahrt im Winter.
Predictive Maintenance mit Semantic Folding
Um sowohl die Zuverlässigkeit als auch die Effizienz von Instandhaltungsstrategien zu verbessern, kann eine Bibliothek von Referenz-Fingerprints erstellt werden, die alle möglichen Arten von Fehlfunktionen repräsentieren - entweder durch die Erfassung tatsächlicher Fehlerzustände oder durch die synthetische Erzeugung von Wertesätzen, die bestimmte Fehlfunktionen repräsentieren.
Wenn ein Status-Fingerprint eine Anomalie signalisiert, kann er sofort mit diesem Katalog von Störungs-Fingerprints verglichen werden, um die möglichen Ursachen der Anomalie zu ermitteln und eine fundierte Diagnose zu erstellen.
Angesichts der minimalen Rechenanforderungen kann die Erkennung und Behebung von Anomalien in Echtzeit erfolgen, selbst auf Edge-Processing-Plattformen mit begrenzten Rechenkapazitäten. Da sich die Überschneidungen zwischen dem Status und den diagnostischen Fingerabdrücken im Laufe der Zeit weiterentwickeln können, kann diese inkrementelle Anomalieerkennung für Predictive Maintenance genutzt werden und ein frühzeitiges Eingreifen ermöglichen, bevor Ausfälle kritisch werden.