Inhalt

• Begrenztes Strombudget
• Bandbreite und hohe Auflösungen
• Niedrige Latenz und Anzeigefelder
• Audio und Sensoren
• Entwickler und Software
• Einpacken

Wir tauchen endlich tief in die Revolution ein, wie manche vielleicht sagen, mit Hardware- und Softwareprodukten, die auf dem Markt in Hülle und Fülle erhältlich sind, und Ressourcen, die Innovationen beflügeln. Wir sind jedoch mehr als ein Jahr her, seit wichtige Produkte in diesem Bereich eingeführt wurden, und wir warten immer noch auf diese Killer-Anwendung, um die virtuelle Realität zu einem Mainstream-Erfolg zu machen. Während wir warten, machen neue Entwicklungen die virtuelle Realität weiterhin zu einer realisierbaren kommerziellen Option, aber es gibt immer noch eine Reihe technischer Hindernisse, die zu überwinden sind, insbesondere im Bereich der mobilen VR.

Begrenztes Strombudget

Die offensichtlichste und am häufigsten diskutierte Herausforderung für mobile Virtual-Reality-Anwendungen ist das wesentlich geringere Strombudget und die geringeren thermischen Einschränkungen im Vergleich zu den entsprechenden Desktop-PCs. Wenn Sie intensive Grafikanwendungen mit einem Akku ausführen, sind Komponenten mit geringerem Stromverbrauch und ein effizienter Energieverbrauch erforderlich, um die Lebensdauer des Akkus zu verlängern. Darüber hinaus bedeutet die Nähe der Verarbeitungshardware zum Träger, dass das Wärmebudget auch nicht höher gesteckt werden kann. Zum Vergleich: Mobiltelefone arbeiten normalerweise mit einer Leistungsgrenze von weniger als 4 Watt, während eine Desktop-VR-GPU problemlos 150 Watt oder mehr verbrauchen kann.

Es ist allgemein anerkannt, dass die mobile VR nicht mit Desktop-Hardware für Rohleistung vergleichbar ist. Dies bedeutet jedoch nicht, dass die Verbraucher keine immersiven 3D-Erlebnisse mit einer gestochen scharfen Auflösung und hohen Bildraten erwarten.

Es ist allgemein anerkannt, dass die mobile VR nicht mit der Leistung von Desktop-Hardware mithalten kann. Dies bedeutet jedoch nicht, dass die Verbraucher trotz der geringeren Leistung keine beeindruckenden 3D-Erlebnisse mit einer gestochen scharfen Auflösung und hohen Bildraten erwarten Budget. Zwischen dem Ansehen von 3D-Videos, der Erkundung von 360-Grad-Standorten und sogar dem Spielen gibt es immer noch zahlreiche Anwendungsfälle, die für die mobile VR geeignet sind.

Rückblickend auf ein typisches mobiles SoC ergeben sich zusätzliche Probleme, die seltener auftreten. Obwohl mobile SoCs eine ordentliche Octa-Core-CPU-Anordnung und eine beachtliche GPU-Leistung bieten, können diese Chips aufgrund des Stromverbrauchs und der bereits erwähnten thermischen Einschränkungen nicht mit voller Leistung betrieben werden. In der Realität möchte die CPU in einer mobilen VR-Instanz so wenig Zeit wie möglich benötigen, um die GPU für den Großteil des begrenzten Strombudgets freizugeben. Dies schränkt nicht nur die verfügbaren Ressourcen für Spielelogik, physikalische Berechnungen und sogar mobile Hintergrundprozesse ein, sondern belastet auch wichtige VR-Aufgaben wie das Zeichnen von Aufrufen für das stereoskopische Rendern.

Die Branche arbeitet bereits an Lösungen dafür, die nicht nur für Mobiltelefone gelten. Multiview-Rendering wird in OpenGL 3.0 und ES 3.0 unterstützt und wurde von Mitarbeitern von Oculus, Qualcomm, Nvidia, Google, Epic, ARM und Sony entwickelt. Multiview ermöglicht das stereoskopische Rendern mit nur einem Zeichnungsaufruf anstelle eines für jeden Ansichtspunkt, wodurch die CPU-Anforderungen reduziert und auch der GPU-Vertex-Job verkleinert werden. Diese Technologie kann die Leistung um 40 bis 50 Prozent verbessern. Im mobilen Bereich wird Multiview bereits von einer Reihe von ARM Mali- und Qualcomm Adreno-Geräten unterstützt.

Eine weitere Innovation, die in den kommenden VR-Produkten für Mobilgeräte erwartet wird, ist das geförderte Rendern. In Verbindung mit der Eye-Tracking-Technologie wird eine GPU durch das raffinierte Rendern entlastet, indem nur der genaue Fokus des Benutzers bei voller Auflösung gerendert und die Auflösung von Objekten im peripheren Sichtbereich verringert wird. Das ergänzt das menschliche Sehsystem auf angenehme Weise und kann die GPU-Belastung erheblich reduzieren, wodurch Energie gespart und / oder mehr Energie für andere CPU- oder GPU-Aufgaben freigesetzt wird.

Bandbreite und hohe Auflösungen

Während die Rechenleistung in Situationen mit mobiler VR begrenzt ist, muss die Plattform dieselben Anforderungen erfüllen wie andere Virtual-Reality-Plattformen, einschließlich der Anforderungen an hochauflösende Anzeigetafeln mit geringer Latenz. Sogar diejenigen, die VR-Displays mit einer QHD-Auflösung (2560 x 1440) oder einer Auflösung von 1080 × 1200 pro Auge des Rift-Headsets angesehen haben, dürften von der Bildschärfe ein wenig beeindruckt gewesen sein. Aliasing ist besonders problematisch, da unsere Augen so nahe am Bildschirm sind und die Kanten während der Bewegung besonders rau oder gezackt aussehen.

Während die Rechenleistung in Situationen mit mobiler VR begrenzt ist, muss die Plattform dieselben Anforderungen erfüllen wie andere Virtual-Reality-Plattformen, einschließlich der Anforderungen an hochauflösende Anzeigetafeln mit geringer Latenz.

Die Brute-Force-Lösung besteht darin, die Anzeigeauflösung zu erhöhen, wobei 4K die nächste logische Folge ist. Geräte müssen jedoch unabhängig von der Auflösung eine hohe Bildwiederholfrequenz beibehalten, wobei 60 Hz als Minimum angesehen werden, 90 oder sogar 120 Hz jedoch weitaus vorzuziehen sind. Dies stellt eine große Belastung für den Systemspeicher dar, der zwei- bis achtmal so groß ist wie die heutigen Geräte. Die Speicherbandbreite ist in der mobilen VR bereits stärker eingeschränkt als in Desktop-Produkten, die einen schnelleren dedizierten Grafikspeicher anstelle eines gemeinsam genutzten Pools verwenden.

Mögliche Lösungen zur Einsparung von Grafikbandbreite sind die Verwendung von Komprimierungstechnologien wie ARM und AMDs ASTC-Standard (Adaptive Scalable Texture Compression) oder das verlustfreie Ericsson Texture Compression-Format, beides offizielle Erweiterungen von OpenGL und OpenGL ES. ASTC wird auch in der Hardware der neuesten Mali-GPUs von ARM, der Kepler- und Maxwell-Tegra-SoCs von Nvidia und der neuesten integrierten GPUs von Intel unterstützt und kann in einigen Szenarien mehr als 50 Prozent Bandbreite gegenüber der Verwendung von nicht komprimierten Texturen einsparen.

Die Verwendung der Texturkomprimierung kann die Bandbreite, Latenz und den Speicherbedarf von 3D-Anwendungen erheblich reduzieren. Quelle - ARM.

Andere Techniken können ebenfalls implementiert werden.Durch die Verwendung von Tessellation kann aus einfacheren Objekten eine detailliertere Geometrie erstellt werden, obwohl einige andere wichtige GPU-Ressourcen erforderlich sind. Durch zeitversetztes Rendern und vorwärts gerendertes Pixel-Kill wird das Rendern von verdeckten Pixeln vermieden, während Binning / Tiling-Architekturen verwendet werden können, um das Bild in kleinere Raster oder Kacheln zu unterteilen, die jeweils separat gerendert werden. Dies spart Bandbreite.

Alternativ oder vorzugsweise zusätzlich können Entwickler Opfer für die Bildqualität bringen, um die Belastung der Systembandbreite zu verringern. Die Geometriedichte kann geopfert oder aggressiver gekeult werden, um die Last zu reduzieren, und die Auflösung der Scheitelpunktdaten kann von der traditionell verwendeten 32-Bit-Genauigkeit auf 16 Bit gesenkt werden. Viele dieser Techniken werden bereits in verschiedenen mobilen Paketen verwendet und können zusammen dazu beitragen, die Belastung der Bandbreite zu verringern.

Speicher ist nicht nur eine große Einschränkung im mobilen VR-Bereich, sondern auch ein ziemlich großer Stromverbrauch, der häufig dem Verbrauch der CPU oder GPU entspricht. Durch Einsparungen bei Speicherbandbreite und -nutzung sollten tragbare Virtual-Reality-Lösungen eine längere Akkulaufzeit erzielen.

Niedrige Latenz und Anzeigefelder

Apropos Latenzprobleme: Bisher waren nur VR-Headsets mit OLED-Anzeigefeldern zu sehen. Dies ist hauptsächlich auf schnelle Pixelwechselzeiten von unter einer Millisekunde zurückzuführen. In der Vergangenheit war LCD mit Ghosting-Problemen bei sehr schnellen Bildwiederholraten verbunden, sodass sie für VR eher ungeeignet waren. Sehr hochauflösende LCD-Panels sind jedoch immer noch billiger in der Herstellung als OLED-Äquivalente. Ein Umstieg auf diese Technologie könnte helfen, die Preise für VR-Headsets auf ein erschwinglicheres Niveau zu senken.

Die Latenzzeit zwischen Bewegung und Photonen sollte unter 20 ms liegen. Dies umfasst das Registrieren und Verarbeiten von Bewegungen, das Verarbeiten von Grafiken und Audiodaten sowie das Aktualisieren der Anzeige.

Anzeigen sind ein besonders wichtiger Bestandteil der Gesamtlatenz eines Virtual-Reality-Systems und machen häufig den Unterschied zwischen einer scheinbaren und einer unterdurchschnittlichen Erfahrung aus. In einem idealen System sollte die Latenz von Bewegung zu Photon - die Zeit zwischen dem Bewegen des Kopfes und dem Ansprechen des Displays - weniger als 20 Millisekunden betragen. Offensichtlich ist ein 50-ms-Display hier nicht gut. Im Idealfall müssen die Panels weniger als 5 ms lang sein, um die Latenz von Sensor und Verarbeitung zu berücksichtigen.

Derzeit gibt es einen Kompromiss zwischen Kosten und Leistung, der OLED begünstigt. Dies könnte sich jedoch bald ändern. LCD-Panels mit Unterstützung für höhere Bildwiederholfrequenzen und kurze Schwarz-Weiß-Reaktionszeiten, bei denen modernste Techniken wie das Blinken der Hintergrundbeleuchtung zum Einsatz kommen, könnten eine gute Lösung sein. Japan Display hat letztes Jahr ein solches Panel gezeigt, und wir können auch andere Hersteller sehen, die ähnliche Technologien ankündigen.

Audio und Sensoren

Während sich viele der gängigen Themen der virtuellen Realität um die Bildqualität drehen, erfordert immersive VR auch eine hohe Auflösung, räumlich genaues 3D-Audio und Sensoren mit geringer Latenz. Im mobilen Bereich muss dies alles innerhalb des gleichen eingeschränkten Strombudgets erfolgen, das sich auf die CPU, die GPU und den Speicher auswirkt, was weitere Herausforderungen mit sich bringt.

Wir haben bereits die Latenzprobleme des Sensors angesprochen, bei denen eine Bewegung im Rahmen der Latenzzeit von Bewegung zu Photon unter 20 ms registriert und verarbeitet werden muss. Wenn wir bedenken, dass VR-Headsets 6 Grad Bewegung verwenden - Rotation und Gieren in jeder der X-, Y- und Z-Achsen - sowie neue Technologien wie Eyetracking. Es ist eine beträchtliche Menge konstanter Daten zu erfassen und zu verarbeiten, und dies bei minimalem Aufwand Latenz.

Lösungen, um diese Latenz so gering wie möglich zu halten, erfordern einen End-to-End-Ansatz, bei dem sowohl Hardware als auch Software diese Aufgaben parallel ausführen können. Glücklicherweise wird für mobile Geräte häufig ein dedizierter Sensorprozessor mit geringem Stromverbrauch und Always-On-Technologie verwendet, der mit relativ geringem Stromverbrauch betrieben wird.

Für Audio ist die 3D-Position eine Technik, die seit langem für Spiele und dergleichen verwendet wird. Die Verwendung einer kopfbezogenen Übertragungsfunktion (HRTF) und einer Faltungshallverarbeitung, die für eine realistische Klangquellenpositionierung erforderlich sind, sind jedoch recht prozessorintensive Aufgaben. Obwohl diese in der CPU ausgeführt werden können, kann ein dedizierter digitaler Signalprozessor (DSD) diese Arten von Prozessen sowohl hinsichtlich der Verarbeitungszeit als auch der Leistung wesentlich effizienter ausführen.

Wenn Sie diese Funktionen mit den bereits erwähnten Grafik- und Anzeigeanforderungen kombinieren, ist die Verwendung mehrerer spezialisierter Prozessoren der effizienteste Weg, um diese Anforderungen zu erfüllen. Wir haben gesehen, dass Qualcomm einen Großteil der heterogenen Rechenfunktionen seines Flaggschiffs und der neuesten mobilen Snapdragon-Plattformen der mittleren Ebene nutzt, die eine Vielzahl von Prozessoreinheiten in einem einzigen Paket mit Funktionen kombinieren, die sich für die Erfüllung vieler dieser mobilen VR-Anforderungen eignen. In einer Reihe von mobilen VR-Produkten, einschließlich eigenständiger tragbarer Hardware, werden wahrscheinlich verschiedene Arten von Paketen eingesetzt.

Entwickler und Software

Schließlich ist keine dieser Hardware-Verbesserungen ohne Software-Suites, Game-Engines und SDKs zur Unterstützung von Entwicklern von Vorteil. Schließlich kann nicht jeder Entwickler das Rad für jede Anwendung neu erfinden. Die Entwicklungskosten niedrig zu halten und die Geschwindigkeit so schnell wie möglich zu halten, ist der Schlüssel für eine breite Palette von Anwendungen.

Insbesondere SDKs sind für die Implementierung wichtiger VR-Verarbeitungsaufgaben wie z. B. asynchrones Timewarp, Korrektur von Linsenverzerrungen und stereoskopisches Rendern von entscheidender Bedeutung. Ganz zu schweigen von der Energie-, Wärme- und Verarbeitungsverwaltung in heterogenen Hardware-Konfigurationen.

Glücklicherweise bieten alle großen Hersteller von Hardwareplattformen Entwicklern SDKs an, obwohl der Markt ziemlich fragmentiert ist, was zu einem Mangel an plattformübergreifender Unterstützung führt. Zum Beispiel hat Google sein VR SDK für Android und ein dediziertes SDK für die beliebte Unity-Engine, während Oculus sein Mobile SDK in Verbindung mit Samsung für die Gear VR entwickelt hat. Wichtig ist, dass die Khronos-Gruppe kürzlich ihre OpenXR-Initiative vorgestellt hat, die darauf abzielt, eine API bereitzustellen, die alle wichtigen Plattformen sowohl auf Geräte- als auch auf Anwendungsebene abdeckt, um die plattformübergreifende Entwicklung zu vereinfachen. OpenXR konnte bereits vor 2018 Unterstützung für sein erstes Virtual-Reality-Gerät sehen.

Einpacken

Trotz einiger Probleme befindet sich die Technologie in der Entwicklung und zum Teil bereits hier, sodass die mobile virtuelle Realität für eine Reihe von Anwendungen verwendet werden kann. Mobile VR bietet auch eine Reihe von Vorteilen, die für Desktop-Äquivalente einfach nicht gelten. Dies wird die Plattform weiterhin zu einer investitions- und intrigenwürdigen Plattform machen. Der Portabilitätsfaktor macht Mobile VR zu einer überzeugenden Plattform für Multimedia-Erlebnisse und sogar für leichtes Spielen, ohne dass Kabel an einen leistungsstärkeren PC angeschlossen werden müssen.

Darüber hinaus ist es aufgrund der Vielzahl mobiler Geräte auf dem Markt, die zunehmend mit Virtual-Reality-Funktionen ausgestattet sind, die Plattform der Wahl, um die größte Zielgruppe zu erreichen. Um aus der virtuellen Realität eine Mainstream-Plattform zu machen, sind Benutzer erforderlich, und Mobilgeräte sind die größte Nutzerbasis, die es zu nutzen gilt.