Inhalt
Google Pixel 4 und Pixel 4 XL bieten die besten Softwarefunktionen und Kamerafunktionen des Unternehmens, die zum Teil durch die Integration des Pixel Neural Core möglich sind. Dieser kleine Chip befindet sich neben dem Hauptprozessor von Pixel 4, um die leistungsstarken maschinellen Lernaufgaben von Google effizient ausführen zu können. Diese reichen von der Bildverarbeitung über die Spracherkennung bis hin zur Transkription.
Der Neural Core ist jedoch nicht das erste Mal, dass Google einen internen Prozessor für maschinelles Lernen für Smartphones entwickelt. Die Pixel 2 und 3 werden mit dem Pixel Visual Core ausgeliefert und wurden entwickelt, um Imaging-Aufgaben wie HDR + für eine verbesserte Leistung und Energieeffizienz auszulagern. Der Neural Core des Pixel 4 baut auf dieser Grundlage mit verbesserten Funktionen und einer Auswahl neuer Anwendungsfälle auf.
Nicht verpassen: Das kann der Astro-Modus von Pixel 4
Wie funktioniert der neuronale Kern des Pixels?
Google hat noch keine Details darüber veröffentlicht, was genau in seinem neuronalen Kern vor sich geht. Wir wissen jedoch, wie der Visual Core der vorherigen Generation funktioniert und welche Techniken typischerweise in maschinellen Lernprozessoren (ML-Prozessoren) verwendet werden.
Im Gegensatz zu einer herkömmlichen CPU, die für eine Vielzahl von Rechenaufgaben entwickelt wurde, sind maschinelle Lernprozessoren (NPUs) wie der Neuronale Kern für einige wenige spezifische komplexe mathematische Aufgaben optimiert. Dadurch ähneln sie eher digitalen Signalprozessoren (DSP) oder Grafikprozessoren (GPU), sind jedoch für die spezifischen Operationen optimiert, die von Algorithmen für maschinelles Lernen verwendet werden.
Fused Multiply-Accumulate ist eine sehr verbreitete Imaging- und Voice-ML-Operation, die in einer CPU nicht in großem Maßstab unterstützt wird. Im Gegensatz zu modernen 32- und 64-Bit-CPUs werden diese Vorgänge mit Datengrößen von nur 16, 8 und sogar 4 Bit ausgeführt. Benutzerdefinierte Hardware-Blöcke sind erforderlich, um diese Vorgänge mit maximaler Effizienz zu unterstützen.
Der Neural Core beschleunigt Bild- und Sprachalgorithmen, die auf einer CPU oder GPU weniger effizient ausgeführt werden.
Der Neural Core baut dedizierte arithmetische Logikeinheiten in die Hardware ein, um diese Anweisungen schnell und mit minimalem Stromverbrauch zu verarbeiten, anstatt mehrere CPU-Zyklen in Anspruch zu nehmen. Der Chip besteht höchstwahrscheinlich aus Hunderten dieser ALUs in mehreren Kernen mit gemeinsam genutztem lokalem Speicher und einem Mikroprozessor, der die Aufgabenplanung überwacht.
Google wird mit ziemlicher Sicherheit das neueste Hardwaredesign für die Algorithmen der Assistenten-, Sprach- und Bildbearbeitungssoftware optimiert haben. In Abhängigkeit von den ALU-Funktionen des Neural Core können die neuesten Fotofunktionen des Pixel 4 nicht auf ältere Mobiltelefone übertragen werden.
Was kann der neuronale Kern?
Der neuronale Kern scheint ein wesentlicher Bestandteil einer Reihe neuer Funktionen zu sein, die in Google Pixel 4 und Pixel 4 XL integriert sind. Diese Verbesserungen betreffen hauptsächlich die Bild- und Sprachverarbeitung.
Auf der Fotografieseite enthält die Liste Doppelbelichtungssteuerung, einen Astrofotografiemodus, Live-HDR + -Vorschauen und Nachtsicht. Mit Pixel 4 von Google werden die Einstellungen für die Doppelbelichtung und HDR + in Echtzeit vorgenommen, sodass Benutzer die Ergebnisse ihrer Bilder sehen können, bevor sie den Auslöser drücken. Dies deutet auf eine erhebliche Steigerung der Rechenleistung für Bilder im Vergleich zu Pixel 3 hin.
Darüber hinaus führen diese Telefone einen lernbasierten Weißabgleich in das Kamerasystem ein, mit dem Gelbtöne korrigiert werden, die häufig bei Bildern mit schlechten Lichtverhältnissen auftreten. Mehrfachbelichtung, Himmelserkennung und Bildkombination werden für den Astro-Nachtsichtmodus verwendet, was eine Menge Verarbeitung und intelligente Bilderkennung erfordert. Schließlich identifiziert und empfiehlt die Funktion "Häufige Gesichter" des Pixel 4 bessere Fotos von Personen, die Sie häufig fotografieren.
Das Pixel 4 verfügt außerdem über einen aktualisierten Assistenten mit verbesserten Sprachmodellen, die jetzt nativ auf dem Gerät und nicht in der Cloud ausgeführt werden können. Zu den neuen Sprachfunktionen gehören auch Fortgesetzte Gespräche, Audiotranskription über die Recorder-App und verbesserte Spracherkennung. Der Neural Core spielt wahrscheinlich auch eine Rolle in der 3D-Face-Unlock-Technologie des Telefons.
Eine Welle der Zukunft
Googles Neural Core ist das bisher leistungsstärkste interne Smartphone-Silizium des Unternehmens und ermöglicht eine effizientere Bildbearbeitung in Echtzeit als zuvor. Google ist stolz auf seine branchenführenden Technologien für maschinelles Lernen und die größten Verkaufsargumente von Pixel 4 beruhen auf den Früchten dieser Investitionen.
Das Pixel 4 ist jedoch nicht das einzige Smartphone mit einem leistungsstarken Prozessor für maschinelles Lernen. Alle Smartphones mit Snapdragon 855 bieten dedizierte Hardware für maschinelles Lernen. Zwar hat Google ganz klar andere Bedürfnisse und vielleicht noch leistungsstärkere Anforderungen an seine Smartphones. Ebenso verfügt das Huawei Kirin 990 über zwei interne NPUs, die für Echtzeit-Bokeh-Videoeffekte und mehr ausgelegt sind.
Hardware für maschinelles Lernen wird schnell zu einem Eckpfeiler der Bild-, Video- und KI-Funktionen von Smartphones. Google platziert sich mit Pixel 4 und Neural Core ganz oben auf der Liste.
Nächstes Thema: Googles Pixelkameras versuchen überhaupt nicht, Kameras zu sein
