Das Smartphone mit Nicken, Lächeln oder Augenzwinkern steuern? Wir horchen in die Zukunft der mobilen Technologie.

Wer im Alltag keine Hand mehr frei hat, um das Smartphone zu bedienen, kann es mal mit einem Lächeln versuchen. Bald ist das kein Wunschgedanke mehr, sondern Realität. Forscher des Frauenhofer-Instituts für Graphische Datenverarbeitung (kurz IGD) in Rostock haben jetzt mit EarFieldSensing (EarFS) eine Methode entwickelt, wie man das Smartphone mit Gesten steuern kann: Ein Sensor wird ins Ohr gestöpselt und registriert dort die kleinsten Muskelbewegungen und Verformungen des Ohrkanals und Gesichts, wie z.B. beim Lächeln, Zwinkern oder Blinzeln.

Keine Fehlinterpretationen durch Referenzelektroden

Fehlinterpretationen durch andere Bewegungen (wie z.B. beim Laufen) sind so gut wie nicht möglich, da die Sensoren, die bereits im Smartphone verbaut sind, alle übrigen Bewegungen registrieren. Dafür wurde eine zusätzliche Referenzelektrode an das Ohrläppchen angebracht, die die von außen kommenden Signale registriert. Die im Ohrinneren erfassten Signale werden mit den von außen kommenden Signale abgeglichen, so dass das verbleibende Nutzsignal eine eindeutige Gesichtsgestenidentifizierung ermöglicht, selbst wenn der EarFS-Träger läuft, joggt oder andere Bewegungen tätigt. Durch die Mikrointeraktionen können die Smartphones effektiver gesteuert werden.

Smartphoneinteraktionen mit EarFS

Diese Methode könnte auch dabei helfen, übermüdete Autofahrer rechtzeitig zu erfassen und ihnen über das Smartphone ein lautes Signal zu schicken oder automatisch auf lautlos umzustellen, sobald die Sensoren eine Konzentration erkennen. Mit EarFS ist aber auch eine direkte Interaktionen mit dem Smartphone möglich, wie etwa das Annehmen und Ablehnen von Anrufen oder die Steuerung des Music-Players.

Der EarFS-prototyp misst Muskelströme und Ohrkanalverformungen/ Quelle: https://www.igd.fraunhofer.de

EarFS in der Technologie

Diese Methode wäre auch im medizinischen Bereich von Vorteil, etwa wenn körperlich behinderte Menschen Computer und Smartphones mit Gesichtsbewegungen steuern. Doch es geht noch mehr: Das sogenannte “Differential Amplification Sensing”, also das Verstärken von Muskelströmen und Ohrkanalverformungen bei gleichzeitigem Herausfiltern von externen Signalen, füllt eine sehr große Forschungslücke. Mit der Technologie könnten auch andere Stellen des Körpers abgelesen und von anderen Signalen getrennt werden.

Fazit

Eine Smartphonesteuerung ohne dabei die Hände zu benutzen wird schon lange erforscht. Doch bisher scheiterte es z.B. bei der Sprachsteuerung anhand der lärmenden Umgebung. Die Gesichtserkennung mit direkten Sensoren ist zwar sehr genau, doch man müsste sich die Sensoren direkt ins Gesicht platzieren, was auch niemand möchte. Das Messen der Muskelströme und der Verformungen des Ohrkanals bei Gesichtsbewegungen ist da deutlich unauffälliger. Grundsätzlich kann diese Methode auch verwendet werden, um an anderen Stellen des Körpers Aktivitäten abzulesen. Bleibt abzuwarten wann die erste Maschine mit dem Körper gesteuert werden kann.