Inhalt
Eine der interessantesten Funktionen, die Google bei der Einführung der diesjährigen Pixel-Smartphones in New York vorgestellt hat, war eine, mit der die Telefone nicht ausgeliefert wurden. Night Sight schien die Grenzen der Bilder bei schlechten Lichtverhältnissen buchstäblich in Frage zu stellen. Rückblickend ist es ziemlich offensichtlich, warum die Leute Google sehr skeptisch gegenüberstanden.
Nachdem Night Sight nun für die Öffentlichkeit zugänglich ist, hatten wir die Möglichkeit, es auf Herz und Nieren zu testen. Robert Triggs von Huawei Mate 20 Pro hat großartige Arbeit geleistet, um zu beschreiben, was Night Sight bei Google Pixel 3 bewirken kann, und wir haben uns sogar angesehen, wie es im Nachtmodus des Huawei Mate 20 Pro funktioniert.
Google hat ein sehr interessantes Whitepaper veröffentlicht, das die Wissenschaft hinter seiner neuen Technologie beleuchtet. Es zeigt, wie das Unternehmen Elemente des maschinellen Lernens mit vorhandener Hardware kombiniert hat, um die Funktionen Ihres Telefons zu verbessern. Es ist sehr kompliziert.
Versuchen wir, die Technik hinter Night Sight zu vereinfachen.
Die Kunst der Fotografie bei schlechten Lichtverhältnissen
Es gibt mehrere Möglichkeiten, sich der Fotografie bei schlechten Lichtverhältnissen zu nähern, die jeweils unterschiedliche Nachteile haben. Eine übliche Methode, um eine Aufnahme bei nicht perfekter Beleuchtung zu machen, ist die Erhöhung der ISO. Durch Erhöhen der Empfindlichkeit des Sensors können Sie eine ziemlich helle Aufnahme erzielen, wobei der Kompromiss eine viel höhere Menge an Rauschen darstellt. Ein größerer 1-Zoll-APSC- oder Full-Frame-Sensor auf einer DSLR-Kamera kann diese Grenze zwar erheblich überschreiten, die Ergebnisse auf einem Telefon sind jedoch in der Regel katastrophal.
Der Kamerasensor eines Telefons ist viel kleiner als eine dedizierte Kamera und es fällt viel weniger Licht auf die einzelnen Foto-Sites (Foto-Sites sind die einzelnen Pixel, die den Sensorbereich ausmachen). Durch Verringern der Anzahl der Megapixel bei gleichbleibenden Abmessungen des Sensors wird die Größe der Fotoseiten erhöht. Der andere Ansatz besteht darin, den Sensor physisch zu vergrößern, aber da dies die Größe des Telefons erhöhen würde, ist dies nicht wirklich ideal.
Verpassen Sie nicht: Best of Android 2018: Welches Smartphone hat die beste Kamera?
Ein zweiter zu berücksichtigender Faktor ist das Signal-Rausch-Verhältnis, das mit der Belichtungszeit zunimmt. Durch Erhöhen der Belichtungszeit können Sie die Lichtmenge erhöhen, die auf den Kamerasensor fällt, und das Rauschen verringern, um eine hellere Aufnahme zu erzielen. Diese Technik wird seit Jahrzehnten in der traditionellen Fotografie eingesetzt. Sie können die Belichtungszeit verlängern, um nachts ein helles Bild eines stillstehenden Denkmals aufzunehmen, oder den gleichen Trick verwenden, um leichte Spuren oder Sternspuren aufzunehmen.
Der Trick, um außergewöhnliche Aufnahmen bei schlechten Lichtverhältnissen zu erzielen, besteht darin, diese beiden Faktoren zu kombinieren. Wie wir bereits erwähnt haben, unterliegt ein Telefon physischen Einschränkungen hinsichtlich der Größe eines Sensors, in den Sie einklemmen können. Außerdem ist die Auflösung begrenzt, die Sie verwenden können, da die Kamera eine ausreichende Menge an Details für Tageszeitaufnahmen erfassen muss. Dann ist es auch wichtig, sich daran zu erinnern, dass eine Person ihr Telefon nur so lange ruhig halten kann. Die Technik funktioniert nicht einmal mit einem Minimum an Bewegung.
Googles Ansatz ist im Wesentlichen das Stapeln der Exposition auf Steroiden. Die Technik ähnelt der von HDR +, bei der die Kamera 9 bis 15 Bilder aufnimmt, um den Dynamikumfang zu verbessern. Bei Tageslicht verhindert die Technik, dass Glanzlichter ausgeblasen werden, während gleichzeitig Details aus den Schattenbereichen herausgezogen werden. Im Dunkeln wirkt dieselbe Technik Wunder, um das Rauschen zu reduzieren.
Dies allein reicht jedoch nicht aus, um ein brauchbares Bild zu erstellen, wenn sich das Motiv bewegt. Um dem entgegenzuwirken, verwendet Google eine sehr raffinierte Technik, die den optischen Fluss nutzt. Optischer Fluss bezieht sich auf das Muster der scheinbaren Bewegung von Objekten innerhalb einer Szene. Durch Messen kann das Telefon für jedes Bild eine andere Belichtungszeit auswählen. In einem Bild, in dem Bewegungen erkannt werden, verkürzt die Kamera die Belichtungszeit. Wenn sich auf der anderen Seite nicht viel bewegt, schiebt das Telefon dies auf bis zu eine Sekunde pro Frame.
Insgesamt verschiebt das Telefon die Anzahl der erfassten Bilder und die Belichtungszeit für jedes Bild dynamisch, je nachdem, wie hell die Einstellung ist und wie viel Bewegung und Handschlag ausgeführt werden. Auf dem Pixel 3 können dies 15 Bilder von bis zu 1/15 Sekunden oder 6 Bilder von bis zu 1 Sekunde sein. Die Anzahl variiert bei Pixel 1 und 2 aufgrund unterschiedlicher Hardware. Diese Aufnahmen werden dann durch Belichtungsstapelung ausgerichtet.
Google verfolgt zwei unterschiedliche Ansätze beim Zusammenführen und Ausrichten dieser Bilder. Beim Pixel 3 und 3 XL verwendet die Kamera dieselben Techniken wie beim Super Res Zoom, um das Rauschen zu reduzieren. Durch die Aufnahme von Bildern aus leicht unterschiedlichen Positionen kann die Kamera eine höhere Auflösung erzielen, die detaillierter ist als die Aufnahme eines einzelnen Bildes. Kombinieren Sie dies mit längeren Belichtungsrahmen, um ein helles und detailreiches Bild bei schlechten Lichtverhältnissen zu erhalten.
Auf den Pixeln 1 und 2 verwendet das Telefon HDR +, um das Stapeln und die Bilderfassung durchzuführen. Da das Telefon nicht über die Rechenleistung verfügt, die für die Verarbeitung von Super Res Zoom mit einer angemessenen Geschwindigkeit erforderlich ist, weist das Endergebnis im Vergleich zu Pixel 3 wahrscheinlich keine Details auf eine ziemliche Leistung für sich.
Das Whitepaper von Google befasst sich mit einigen weiteren Schritten, bei denen die Kamera maschinell lernbasierte Algorithmen verwendet, um den Weißabgleich genau zu bestimmen. Eine längere Belichtung kann bestimmte Farben übersättigen. Google behauptet, dass es seine maschinell lernbasierten AWB-Algorithmen optimiert hat, um ein realistischeres Rendering zu erzielen. Dies zeigt sich in den leicht untersättigten und kühleren Tönen, die in den Aufnahmen erzeugt werden.
Es ist leicht, sich von den Errungenschaften von Night Sight beeindrucken zu lassen. Der Einsatz von Software zur Umgehung der durch die Hardware auferlegten Grenzen ist beeindruckend, aber nicht ohne Mängel. Nachtaufnahmen können oft unnatürlich hell erscheinen und vermitteln nicht immer die Szene, wie sie wirklich war. Außerdem sind die Bilder bei extrem schlechten Lichtverhältnissen mit Sicherheit verrauscht. Sicher, sie helfen dir dabei, einen Schuss zu bekommen, bei dem du vielleicht nichts geschafft hast, aber es ist etwas, um das du dir Sorgen machen musst. Bei Aufnahmen mit hellen Lichtquellen wird die Kamera durch die Erzeugung von Reflexionsartefakten ebenfalls ausgeschaltet.
Was denkst du über Night Sight? Ist Googles Ansatz die Zukunft, oder hätten Sie lieber zusätzliche Hardware wie Schwarzweiß-Sensoren, um die Empfindlichkeit bei schlechten Lichtverhältnissen zu verbessern? Lass es uns in den Kommentaren wissen.
Nächster: Google Pixel 3-Kamera-Shootout
