Intelligente Sensoren: Wie diese das Denken lernen

Im Fraunhofer-Leitprojekt NeurOSmart forscht das Fraunhofer-Institut für Photonische Mikrosysteme IPMS mit vier weiteren Instituten (ISIT, IMS, IWU, IAIS) unter Leitung des Fraunhofer ISIT gemeinsam an besonders energieeffizienten und intelligenten Sensoren für die nächste Generation autonomer Systeme. Dabei werden die Brücken zwischen Wahrnehmung und Informationsverarbeitung durch innovative Elektronik wie intelligente Sensoren neu definiert.

Intelligente Maschinen werden zunehmender Bestandteil unseres Alltages. Naheliegende Beispiele sind das autonome Fahren oder etwa moderne Roboter-Staubsauger im Haushalt. Doch auch dort, wo wir nicht direkt mit ihnen in den Kontakt kommen, sind selbstständig arbeitende Roboter zunehmend unerlässlich. Nämlich als flinke und unermüdliche Helfer in Logistikzentren oder als präzise und starke Partner in Fertigungsumgebungen. 

Intelligente Sensoren und Elektronik in Robotern

Um in diesen Anwendungen autonom, also möglichst eigenständig ohne Überwachung durch Menschen, arbeiten zu können, enthalten diese Roboter intelligente Sensoren und Elektronik. Diese ermöglichen es ihnen, ihre Umgebung wahrzunehmen und auch unvorhergesehene Situationen eigenständig zu bewältigen. Je komplizierter das Aufgabengebiet, desto intelligenter und agiler muss die Maschine sein. Dies führt dazu, dass sich immer mehr und verschiedene Sensoren, etwa für die Abstandmessung, für die Bewegungserfassung oder die Druckbestimmung bei Berührungen, kombinieren lassen. Außerdem muss die Elektronik und Computertechnik für die Erfassung und Verarbeitung der Daten immer leistungsstärker sein.

Allerdings geht dieser Trend zu mobilen Supercomputern mit einem erheblich steigenden Energieverbrauch einher. Besonders bei mobilen Systemen führt dies zu einer verkürzten Einsatzdauer oder Reichweite und stößt laut aktuellen Prognosen in den nächsten Jahrzehnten gar an die Grenzen der weltweiten Energieerzeugung. Um dieser Eskalation entgegenzuwirken, setzten die in NeurOSmart beteiligten Fraunhofer-Forscherinnen und Forscher auf einen neuromorphen In-Memory-Beschleuniger. Dieser ist auf den jeweiligen Sensor maßgeschneidert entwickelt. Als Vorbild für die zu entwickelnde Elektronik dient das menschliche Gehirn. Denn dieses ist trotz seiner enormen Rechenleistung sehr energiesparend beim Treffen von Entscheidungen.

Einsatz der neuartigen Computer-Speichertechnologie

„Diese Art der Datenverarbeitung, also des Denkens, wird durch eine neuartige analoge Computer-Speichertechnologie realisiert, die zudem in der Lage ist, Rechenoperationen durchzuführen, wenn Daten in dem System neu erfasst werden. In der Praxis wird dies genutzt, um Objekte und ihr Verhalten exakt und in Echtzeit zu erkennen“, erläutert der ISIT-Wissenschaftler und Projektleiter Dr. Michael Mensing: Bisher sind für diese Funktionsweise mehrere getrennt entwickelte Komponenten in Computern und eine besonders energieaufwändige Kommunikation zwischen ihnen nötig. 

Unterstrichen werden die Vorteile des neuen Ansatzes durch die parallele Entwicklung besonders kleiner und effizienter Modelle für die Objekterkennung und -klassifizierung, die speziell auf den Sensor, die neuen Möglichkeiten der direkt integrierten Elektronik und ihre Anwendungen angepasst werden. Das Resultat ist eine schnelle Reaktionszeit, erhöhter Datenschutz und erhebliche Energieeinsparung gegenüber dem aktuellen Trend von praxisfernen oder Cloud-basierten Lösungen, die bevorzugt auf immer größere, energieintensivere Modelle zurückgreifen.

Intelligente Sensoren als Bestandteil autonom arbeitender Systeme

In der Projektlaufzeit von vier Jahren mit einem Finanzvolumen von acht Millionen Euro wollen die Forscher diesen Ansatz erstmals mit einem komplexen, bei Fraunhofer entwickelten LiDAR-System kombinieren. Und diesen in anwendungsnaher Umgebung erproben. Dieses System, das intelligente Sensoren enthält, ist ein entscheidender Bestandteil autonom arbeitender Systeme. Denn der Sensor erkennt seine Umgebung mithilfe detaillierter Abstandsinformationen auch bei schlechtem Wetter und über einen weiten Entfernungsbereich. Als erste Probe der neuartigen Sensoren integrieren die Forscher sie in den nächsten Jahren in Robotersysteme, die ihren menschlichen Kolleginnen und Kollegen in Fertigungsumgebungen unterstützen, beispielsweise durch das Bewegen von schweren Lasten oder Anreichen von Komponenten. 

Innerhalb des Projekts entwickelt das Fraunhofer IPMS den Schaltkreis des neuromorphen Beschleunigers. Den Kern des analogen Beschleunigers bilden dabei moderne HfO2-basierte Crossbars. Damit lassen sich die komplexen, oft iterativen digitalen Berechnungen von KI-Modellen, zum Beispiel in CNNs, die die Forscher sonst mit hohem Energieaufwand auf generalisierten Grafikkarten berechnen, auf energieeffiziente Speicheroperationen im Schaltkreis abbilden. Für die interne Steuerung der Datenflüsse wird der RISC-V-Prozessorkern EMSA5 implementiert. Und zwar mit direkten Schnittstellen zur analogen Beschleunigerbaugruppe und übergeordneten Systemen sowie Fehlerschutzmechanismen. Die Erforschung einer softwareprogrammierbaren Systemarchitektur wird einen flexiblen Einsatz des Schaltkreises in einer Vielzahl von Anwendungsfällen ermöglichen.

Schaltkreis des neuromorphen Beschleunigers trainieren

Weiterhin trainiert das Fraunhofer IPMS gemeinsam mit dem Fraunhofer IAIS den Schaltkreis des neuromorphen Beschleunigers. Dafür erforscht das Institut in einem ersten Schritt das neuronale Netzmodell für die LiDAR-Datenauswertung. Ziel ist dabei die automatisierte Abbildung auf der verfügbaren Hardwaretopologie sowie deren Übertragung auf ein Schaltkreisdesign. Im System analysiert der Schaltkreis vorverarbeitete LiDAR-Daten. Dabei erfolgt die Kommunikation zwischen Vorverarbeitung (FPGA) und Beschleuniger-Schaltkreis über eine echtzeitfähige Highspeed-Ethernet-Schnittstelle. Das Fraunhofer IPMS ist mit dem Fraunhofer-Institut für Siliziumtechnologie ISIT an der Validierung der neuen Speicherzellen-Ansätze für zukünftige Beschleunigerumsetzungen beteiligt.

Das Fraunhofer-Institut für Photonische Mikrosysteme IPMS ist ein Forschungs- und Entwicklungsdienstleister für elektronische und photonische Mikrosysteme. Dies schließt die Anwendungsfelder intelligente Industrielösungen und Sensoren, Medizintechnik und Gesundheit sowie verbesserte Lebensqualität ein. Die Fraunhofer-Gesellschaft mit Sitz in Deutschland ist eine der führenden Organisationen für anwendungsorientierte Forschung. (sg)

Lesen Sie auch: KI in der Produktion: Diesen Nutzen bietet sie wirklich