Technik

Vom Kamerabild zum Spiel

Für jedes Kamerabild läuft auf dem iPhone dieselbe Kette ab:

1. Gesicht erfassen. Apples ARKit liefert über die TrueDepth-Kamera ein 3D-Gesichtsgitter, die Kopfhaltung und Gesichtsbewegungen wie die Kieferöffnung.
2. Mund ausschneiden. Aus dem Gitter berechnet die App Mitte und Breite des Mundes und schneidet einen quadratischen Ausschnitt aus, der den Bereich unter dem Mund einschließt.
3. Zungenspitze finden. Ein eigenes Modell schätzt in diesem Ausschnitt, ob die Zunge sichtbar ist und wo ihre Spitze liegt.
4. Glätten und umrechnen. Die Position wird über mehrere Bilder geglättet und in Mundbreiten relativ zur Mundmitte umgerechnet. So passt sie zu Kindern mit kleinem und großem Mund.
5. Spielen. Das Spiel vergleicht die Position mit den Zielen rund um den Mund. Parallel prüft die App über die Gesichtsbewegungen, ob der Mund offen ist und ob Kiefer oder Kopf mithelfen.

Kein Schritt braucht das Internet. Die Bilder werden nur im Arbeitsspeicher verarbeitet und nicht gespeichert.

Warum nur iPhone

Sagenhaft – Zungenakrobatik braucht ein iPhone mit Face ID. Der Grund ist die TrueDepth-Kamera: Sie misst das Gesicht dreidimensional, und ARKit leitet daraus ein stabiles Gesichtsgitter und sogenannte Blendshapes ab, also Messwerte für einzelne Gesichtsbewegungen wie „Kiefer offen“, „Kiefer nach vorn“ oder „Kiefer zur Seite“.

Darauf bauen zwei Teile der App:

• Der Mundausschnitt. Das Modell bekommt immer einen Ausschnitt, der genau am Mund ausgerichtet ist, auch wenn das Kind den Kopf dreht. Das gelingt nur mit einem verlässlichen 3D-Gitter.
• Die Kontrolle der Ausführung. Ob der Kiefer die Bewegung übernimmt oder der Kopf kippt, liest die App aus Blendshapes und Kopfhaltung. Vor jeder Übung wird dafür eine Ruhelage gemessen.

Android-Geräte haben keine einheitliche Tiefenkamera vorn. Die Android-Schnittstellen für Gesichtserkennung liefern deutlich weniger Blendshape-Daten oder schätzen sie nur aus dem normalen Kamerabild, und das je nach Gerät unterschiedlich genau. Mundausschnitt und Ausführungskontrolle wären dort deshalb aktuell schlechter. Für eine Android-Version müssten wir Mundausschnitt und Ausführungskontrolle neu entwickeln und auf vielen Geräten prüfen. Auch iPads unterstützt diese Version noch nicht.

Das Modell

Für die Zungenspitze gibt es kein fertiges Modell. Weder Apples Frameworks noch bekannte Bilddatensätze erfassen die Position der Zunge. ARKit kennt zwar den Messwert „Zunge raus“, er unterscheidet aber keine Richtungen. Deshalb haben wir ein eigenes, kompaktes Modell trainiert, das direkt auf dem iPhone läuft.

Trainiert auf über 110.000 Trainingsbeispielen

Weil es keine öffentlichen Daten gibt, haben wir sie selbst aufgenommen: mit einer eigenen Aufnahme-App, getrennt vom Produkt, mit freiwilligen Kindern und Erwachsenen, die Zungenbewegungen in alle Richtungen gemacht haben. So entstehen aus echten Aufnahmen die Trainingsbeispiele:

1. 2.925 Aufnahmen aus der Frontkamera
2. 1.309 Mundausschnitte, in denen Mund und Zunge sauber zu erkennen sind
3. 946 davon im Training. Die übrigen 363 stammen von anderen Personen und dienen nur der Prüfung.
4. 113.520 Trainingsbeispiele: 120 Durchgänge, in denen jeder Ausschnitt jedes Mal technisch verändert wird.

Die Veränderungen simulieren Situationen, die in den Aufnahmen fehlen: Das Bild wird gespiegelt, verschoben und vergrößert, in Helligkeit und Farbe verändert, abgedunkelt und verrauscht wie bei schwachem Licht im Kinderzimmer. So lernt das Modell aus jedem Ausschnitt viele Varianten.

Simulieren lässt sich aber nicht alles. Andere Mundformen, Zahnspangen, Zahnlücken, Hauttöne, Räume und iPhone-Modelle kommen nur mit echten Aufnahmen ins Training. Deshalb hilft jede zusätzliche echte Aufnahme mehr als weitere künstliche Varianten. Wie Sie künftig beitragen können, steht unter Beim Verbessern helfen.

• 727 Spitzenpositionen von Hand markiert und geprüft. Ein Versuch, die Markierung mit einem Segmentierungsmodell (SAM 2) vorzubelegen, war zu ungenau. Wir haben deshalb jede Position einzeln gesetzt.
• Getrennt nach Personen: Wer in den Prüfdaten vorkommt, war nicht im Training. So messen wir, wie das Modell mit Gesichtern umgeht, die es noch nie gesehen hat.

Die Aufnahmen sind nicht Teil der App und werden nicht weitergegeben. Die App enthält nur das fertige Modell, also gelernte Gewichte, keine Bilder.

Wie gut es funktioniert

Gemessen an Personen, deren Bilder nicht im Training waren:

Bei vier Richtungen läge Raten bei 25 %. Die Blendshapes allein reichen für die Richtung also nicht. Das eigene Modell ist der Kern der App.

Grenzen

• Der Datensatz ist noch klein. Kinder mit sehr anderer Mundform, Zahnspange oder ungewöhnlicher Beleuchtung können ungenauere Ergebnisse bekommen.
• Diagonale Richtungen und sehr kleine Bewegungen erkennt das Modell unsicherer als die vier Hauptrichtungen.
• Die App ist ein Übungsspiel, kein Messinstrument. Die Werte im Eltern-Bereich zeigen einen Trend, keine Diagnose.

Beim Verbessern helfen

Am meisten hilft dem Modell echte Vielfalt: mehr Kinder, mehr Mundformen, mehr Licht- und Raumsituationen. Künstliche Veränderungen können das nur nachahmen, echte Aufnahmen zeigen es wirklich. Eine kommende Version von Sagenhaft – Zungenakrobatik soll es deshalb ermöglichen, Trainingsdaten beizusteuern.

In der aktuellen Version gibt es diese Funktion nicht. Die App überträgt keine Daten. Wenn Sie schon jetzt Fragen oder Anregungen haben, schreiben Sie an app@sagenhaftlogo.de.