Inhalt

• Live-Relay
• Projekt Euphonia

Eines der großen Themen der Eröffnungsrede von Google I / O 2019 war Inklusivität. Eine neue Funktion in Android Q zielt darauf ab, die Inklusivität für gehörlose und schwerhörige Personen zu verbessern, indem sofortige Untertitel für nahezu alle auf einem Telefon abgespielten Audio- oder Videodaten angeboten werden.

Diese Funktion, die als Live-Untertitel bezeichnet wird, verwendet KI, um die auf einem Smartphone wiedergegebene Sprache in schnelle und genaue Untertitel umzuwandeln. Das Schöne daran ist, dass die Funktion mit jeder App funktioniert, unabhängig davon, ob sie Audio oder Video wiedergibt und ob der Inhalt von einem Server gestreamt, aus dem lokalen Speicher wiedergegeben oder von einem Menschen im Handumdrehen generiert wird.

Google Pixel 3a XL-Test: Schauen Sie in die Kamera, bleiben Sie für die Erfahrung

Live Caption funktioniert mit Podcasts, Videos, Audio- und Video-Chat-Apps wie Duo. Die Demo, die wir auf der Bühne der Google I / O-Keynote sahen, wirkte sehr flüssig und beeindruckend, obwohl die tatsächlichen Ergebnisse offensichtlich variieren können.

Live Caption kann mit einem Fingertipp aufgerufen werden - Benutzer können es aktivieren, indem sie auf ein neues Symbol klicken, das beim Ändern der Systemlautstärke angezeigt wird. Alles wird lokal verarbeitet, sodass Sie sich keine Sorgen machen müssen, dass Dritte Ihre Gespräche mithören.

Bildunterschriften werden in einem schwarzen Fenster über der normalen Benutzeroberfläche angezeigt. Die Untertitel werden nicht für später gespeichert, sodass Sie sie nur sehen, wenn das entsprechende Audio abgespielt wird.

Live Caption funktioniert mit Podcasts, Videos, Audio- und Video-Chat-Apps wie Duo.

Während gehörlose Menschen das meiste aus dieser coolen neuen Funktion ziehen können, kann Live Caption in einer Vielzahl von Situationen für viele andere Benutzer nützlich sein. Es funktioniert sogar, wenn Audio auf Null gestellt ist, sodass Benutzer Inhalte konsumieren können, ohne die Umgebung zu stören.

Live Caption ist eine neue Eingabehilfenfunktion, die in Android Q integriert ist. Sie müssen sie in den Einstellungen aktivieren, bevor Sie sie verwenden können. Derzeit ist nicht klar, ob die Funktion von allen OEMs auf ihren Android Q-Geräten unterstützt wird.

Live-Relay

Die Möglichkeit, Videos stummzuschalten, ist zwar ziemlich cool, aber im Vergleich zu den lebensverändernden Effekten, die die Live-Untertitelungstechnologie für manche Menschen haben könnte, auch trivial. Google hat gezeigt, wie Live Caption in Verbindung mit den Funktionen "Smart Reply" und "Smart Compose", die im vergangenen Jahr erstmals vorgestellt wurden, Menschen helfen kann, die nicht sprechen können, Gespräche zu führen. Die Technologie namens Live Relay kann Sprache in geschriebenen Text umwandeln, mit dem gehörlose Benutzer problemlos interagieren können. Als nächstes wird die Antwort in synthetische Sprache umgewandelt und an die Person am Ende der Leitung weitergeleitet.

Projekt Euphonia

Die Forscher von Google suchen auch nach Möglichkeiten, Spracherkennungsmodelle so zu trainieren, dass sie nicht standardmäßige Reden verstehen, z. B. von Personen, die stottern, Schlaganfälle hatten oder unter anderen Beeinträchtigungen leiden. Langfristiges Ziel ist es, dass Computer die Millionen von Menschen verstehen, die Sprachbehinderungen haben oder überhaupt nicht sprechen können.

Google warnte davor, dass bei dieser Suche noch viel zu tun ist, damit die Technologie für buchstäblich alle funktioniert. CEO Sundar Pichai lud Menschen mit Sprachbehinderungen ein, Sprachproben beizusteuern, die dem Unternehmen helfen, umfassendere Erkennungstechnologien zu entwickeln.

Bleiben Sie dran für mehr von Google I / O.