Inhalt
Der Hype um die virtuelle Realität hat in den letzten Jahren sicherlich nachgelassen, und zwar aufgrund einer Kombination aus teurer Hardware, mittelmäßiger Leistung und Bewegungsunruhe sowie einem Mangel an Benutzerinhalten. Die Branche befindet sich derzeit in einem Henne-Ei-Szenario, in dem ein Mangel an Verbrauchern Investitionen in High-End-Inhalte erschwert. Eine leistungsfähigere und kostengünstigere VR-Hardware für die Massen wird benötigt, um den Stillstand zu überwinden.
Arm versucht, einige dieser technologischen Hürden mit seinem ersten speziell für VR entwickelten Display-Prozessor (DPU) zu überwinden: dem Mali-D77. Kurz gesagt, der Mali-D77 entlastet die GPU von gängigen VR-Verarbeitungsaufgaben, wodurch Ressourcen für höhere Bildraten freigesetzt werden und gleichzeitig die Reisekrankheit verringert wird.
Im Inneren des Arms Mali-D77
Ein Großteil des Mali-D77 basiert auf dem Mali-D71 von 2017 für Flaggschiff-Smartphones und andere High-End-Anwendungen. Es verfügt über denselben Komprimierungsdecoder, dieselbe Ebenenskalierung, dieselbe HDR-Unterstützung und dieselben Farbverwaltungseinheiten. Das neue Design wurde jedoch für die Unterstützung von 3K-Auflösungen bei 120 Bildern pro Sekunde und 4K-Auflösungen bei bis zu 90 Bildern pro Sekunde optimiert.
Die wesentlichen Änderungen betreffen zwei brandneue Hardwarebeschleunigungseinheiten für VR-Anwendungen. Der Mali-D77 unterstützt Lens Correction und Asynchronous Timewarp in der Hardware, anstatt diese Algorithmen auf der GPU auszuführen. Arm schätzt, dass dadurch etwa 15 Prozent der GPU-Ressourcen freigesetzt werden können, wodurch die Frameraten gesteigert werden können. Wenn Sie diese Last auf die DPU übertragen, sparen Sie außerdem 40 Prozent Bandbreite und 180 mW Leistung pro VR-Schicht. Nett.
Bei VR-Headsets ist eine Objektivkorrektur erforderlich, um die Lichtkrümmung der Objektive des Headsets auszugleichen. Die Tonnenverzerrung wird auf jeden gerenderten Frame angewendet, um den Effekt der Kissenverzerrung der Linsen auszugleichen. Stellen Sie sich dies als Überkompensation oder „Umkehrverzerrung“ vor, damit die Objektivverzerrung tatsächlich das richtige Bild anzeigt. Traditionell wird dies auf der GPU durchgeführt, was zusätzliche Zyklen und Zeit in Anspruch nimmt. Der Mali-D77 erledigt dies alles auf der DPU.
Darüber hinaus führt der Mali-D77 eine Korrektur der chromatischen Aberration unter Verwendung einer ähnlichen umgekehrten Verzerrungsmethode durch. Mit dieser Einstellung werden die Bildfarben über das gesamte Objektiv hinweg korrekt angezeigt, auch in den Ecken, in denen Farbtrennungsverzerrungen auftreten können.
Was ist asynchroner Timewarp?
Die Objektivkorrektur ist eher selbsterklärend, aber die asynchrone Zeitverzerrung ist etwas komplizierter. In diesem Fall verwendet Arm den Anzeigeprozessor, um Bilder zu drehen, zu verzerren und zu verzerren, um die Bewegungen des Trägers zu kompensieren und gleichzeitig die Latenz einer GPU oder einer anderen Anzeige-Pipeline zu verringern.
Mit der aktuellen Hardware-Generation wird die Bewegungsverfolgung der X-, Y- und Z-Achse synchron mit der GPU aktualisiert, da die GPU die Ansichtsänderung bei jeder Bewegung rendern muss. Mit Asynchronous Timewarp werden die beiden nicht mehr zusammen aktualisiert. Sie können Ihren Kopf zwischen den GPU-Frame-Aktualisierungen bewegen, und der Mali-D77 kann den aktuellen Frame entsprechend Ihrer Kopfbewegung verformen.
Dies ist ein subtiler Effekt, da er zwischen gerenderten Bildern nur einen Bruchteil einer Sekunde anhält und die Notwendigkeit einer schnellen Bildwiedergabe nicht beseitigt. Es erhöht jedoch die Fließfähigkeit und Geschmeidigkeit von Bewegung und Bewegung erheblich, da Aktualisierungen noch häufiger auftreten können als bei der GPU-Bildrate. Die Unterbrechung zwischen dem Bewegen Ihres Körpers und dem Anzeigen eines visuellen Updates ist die häufigste Ursache für Reisekrankheiten in der VR. Daher kann der Mali-D77 in dieser Hinsicht sehr hilfreich sein.
Die Bewegungsdaten der X-, Y- und Z-Achse werden direkt von der CPU an den Mali-D77 übertragen und umgehen die GPU-Stufe vollständig. Dies ist eine ganz andere Vorgehensweise, und daher müssen Entwickler eine Reihe neuer Entwicklungstools und -techniken verwenden. Dies ist wohl die größte Hürde mit dem D77. Glücklicherweise arbeiten die Ingenieure von Arm eng mit Initiativen wie OpenXR zusammen, sodass wir in Zukunft eine API-Ankündigung für eine vereinfachte Entwicklerunterstützung sehen können.
Insgesamt ist der Arm Mali-D77 eine intelligente und logische Weiterentwicklung der heterogenen Computeridee, um einige der größten Hardwareprobleme der virtuellen Realität zu lösen. Es gibt noch weitere Hürden in den Bereichen drahtlose Kommunikation, Nachverfolgung und Kosten von VR, die gelöst werden müssen, bevor die Übernahme durch den Mainstream überdacht werden kann. Der Mali-D77 hilft jedoch dabei, einige der Leistungsprobleme zu lösen.
