Inhalt
- Wie funktionieren neuronale Netze?
- Neuronale Netze in Ihrem Smartphone
- KI könnte die Zukunft der Fotografie gestalten
Neben Computerfotografie, hochwertiger Kamerahardware und Bildsignalprozessoren wird die fortschrittliche mobile Fotografie zunehmend durch Algorithmen für maschinelles Lernen unterstützt, die auch als künstliche Intelligenz (KI) bezeichnet werden. Diese Fototechnik verspricht eine Verbesserung der Qualität in Richtung DSLR-ähnliche Qualität und bietet gleichzeitig kreative neue Möglichkeiten zum Aufnehmen und Bearbeiten von Bildern und Videos.
Der Schlüssel zum maschinellen Lernen ist die Verwendung neuronaler Netze. Dies ist eine Art Algorithmus, der häufig mit dem menschlichen Gehirn verglichen wird. Dieser Vergleich basiert auf der Fähigkeit eines neuronalen Netzwerks, mithilfe von Daten Muster zu erkennen und hochpräzise Klassifizierungen für komplexe Datentypen wie Audio und Bilder vorzunehmen.
Wenn es um Fotografie geht, hat die Fähigkeit, zu beobachten, zu lernen, zu generieren und zu klassifizieren, eine breite Palette von Anwendungen. Diese Anwendungen können Funktionen umfassen, die auf Computerfotografietechniken aufbauen, um Nachbearbeitungsalgorithmen zu verbessern, Echtzeitsoftware mit 4K-Video zu verwenden oder sogar die Farben der Kleidung, die Sie tragen, vollständig auszutauschen.
Wie funktionieren neuronale Netze?
Neuronale Netze sind ein äußerst komplexes Thema, daher werden wir hier nur die Grundlagen behandeln. Weitere Informationen finden Sie in den Handbüchern hier und hier.
Neuronale Netze bestehen aus Knoten, was ein Indikator dafür ist, wo einige Berechnungen durchgeführt werden. Jeder Knoten kombiniert eine Eingabe mit einer Gewichtung, die die Bedeutung dieses bestimmten Knotens verstärkt oder abschwächt. Mehrere Knoten arbeiten häufig parallel und erstellen eine Knotenebene, die eine größere Aufgabe ausführt. Dies kann beispielsweise die Erkennung von Merkmalen in einem Bild sein. Mehrere Knoten und Ebenen können zusammengefasst und an andere Knoten und Ebenen weitergeleitet werden, um ein tieferes Netzwerk mit leistungsfähigeren Funktionen zu bilden.
Die Ausgabe von jedem Knoten und jeder Ebene wird als Wahrscheinlichkeitsfunktion skaliert. Durch die Betrachtung vieler verschiedener Merkmale und Attribute kann ein neuronales Netzwerk die Eingabe als Wahrscheinlichkeitsübereinstimmung mit allen erwarteten potenziellen Ausgaben bewerten. Auf diese Weise entscheiden Bilderkennungsalgorithmen, ob ein Bild eher wie eine Katze oder wie eine Orange aussieht, aber Sie müssen ihm zunächst mitteilen, wonach er suchen soll.
Neuronale Netze sind nicht wie herkömmliche Computeralgorithmen programmiert. Stattdessen werden sie auf Datensätze wie Bilder, Tondateien usw. trainiert. Die Gewichte jedes Knotens werden über eine Rückkopplungsschleife schrittweise angepasst, je nachdem, wie gut das Netzwerk die Eingaben an die richtigen Ausgaben angepasst hat. Dieses schrittweise „Erlernen“ der Regeln erfordert viel Vorbereitung, Zeit und Rechenleistung, liefert jedoch phänomenal genaue Ergebnisse.
Neuronale Netze in Ihrem Smartphone
Neuronale Netzwerke können auf einer Vielzahl von Hardwarekomponenten ausgeführt werden, einschließlich der CPU- und GPU-Teile, die in einer Reihe von Computergeräten, einschließlich Ihres Smartphones, üblich sind. Einige neuronale Netze können jedoch mehr Verarbeitungsleistung erfordern, als diese Hardwarekomponenten bereitstellen können, und dedizierte Hardware kann die optimale erforderliche Verarbeitung bereitstellen.
In der mobilen Plattform Qualcomm® Snapdragon ™ 855 finden Sie beispielsweise den neuesten digitalen Signalprozessor Qualcomm® Hexagon ™ 690 (DSP) mit verbesserten Vektorverarbeitungseinheiten und einem neuen Tensor Accelerator speziell für maschinelles Lernen. Andere Snapdragon Mobile-Plattformen bieten ebenfalls die Hexagon DSP-Komponente mit unterschiedlichen Funktionen. Allerdings können neuronale Netze nicht nur auf dem DSP auf Snapdragon und anderen mobilen Plattformen ausgeführt werden. Der verwendete Prozessortyp hängt von der Arbeitslast ab.
Qualcomm Snapdragon 855 - Verbesserungen beim maschinellen Lernen im Vergleich zur vorherigen Generation
Mit dem Qualcomm® Neural Processing SDK von Qualcomm Technologies können Entwickler DSP und maschinelles Lernen nutzen. Auf diese Weise können Apps neuronale Netze auf allen Hardwarekernen einer Snapdragon Mobile-Plattform ausführen. Zum Beispiel nutzen Google Pixel-Smartphones den Hexagon DSP und seinen eigenen Visual Core, um die beeindruckende HDR + -Fotografie zu beschleunigen. Qualcomm Technologies arbeitet mit Softwareanbietern wie Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho und anderen zusammen und unterstützt Funktionen, die von Videobokeh bis zur Avatar-Erstellung mit maschinellem Lernen auf dem DSP reichen.
KI könnte die Zukunft der Fotografie gestalten
Jetzt wissen wir, wie neuronale Netze funktionieren. Die wichtige Frage ist, was sie für uns und unsere Fotos tun können.
Neuronale Netze werden verwendet, um eine Reihe gängiger Fotografie-Algorithmen zu verbessern. Die Rauschunterdrückung könnte zum Beispiel durch Training verbessert werden, um eine hervorragende Bildbereinigung zu bieten, die auf die jeweilige Kamera oder Aufnahmeart zugeschnitten ist. Ebenso kann ein neuronales Netz bei schwachem Licht helle und dunkle Teile des Bildes erkennen und so Licht- und Farbverbesserungen in bestimmten Teilen der Szene ermöglichen.
Fortgeschrittenere Anwendungsfälle sind in der Smartphone-Fotografie immer häufiger anzutreffen. Hochauflösende Zooms verwenden neuronale Netze, um mehrere Bilder zu einer einzigen hochauflösenden Aufnahme zu kombinieren und so einen überlegenen digitalen Zoom zu erzielen. Neuronale Netze könnten auch so trainiert werden, dass mehrere Belichtungen für verbesserte HDR- und Nachtaufnahmen genau zusammengefügt werden.
Die KI-Fotografie kann einen hochauflösenden Zoom, ein Echtzeit-Bokeh und eine verbesserte Bildqualität beinhalten.
Video könnte auch von der Einführung dieser Technologie profitieren. Die Echtzeit-Objekterkennung ermöglicht es Apps, Software-Bokeh-Effekte direkt in das Video einzufügen, während Sie aufnehmen. Ähnliche Techniken unterstützen auch das Austauschen und Entfernen von Objekten in Echtzeit. Dazu gehört das Austauschen des Hintergrunds in einem Video, das Ändern oder Entfernen von Farben und sogar das Ersetzen von Kleidungsstücken oder das direkte Einblenden digitaler Avatare in Ihr Video.
Die Leistungsfähigkeit des neuronalen Netzwerks und der KI-Fotografie reicht von Qualitätsverbesserungen, um die Lücke in der DSLR zu schließen, bis hin zu leistungsstarken Kreativitätswerkzeugen, mit denen sich einzigartige Inhalte mühelos erstellen lassen. In beiden Fällen handelt es sich um eine leistungsstarke Technologie, die für zukünftige Verbesserungen der mobilen Fotografie von grundlegender Bedeutung ist.
Nächster: Internationales Werbegeschenk für Google Pixel 3 XL!
Inhalt gesponsert von Qualcomm Technologies, Inc.
Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine und Qualcomm Kryo sind Produkte von Qualcomm Technologies, Inc. und / oder seinen Tochterunternehmen.
