Le logiciel Fancy Phancer donne au vibromasseur DSLR de votre appareil photo smartphone - La photographie - 2019

• 5 idées reçues sur la FIMO⎪ Fancy Puppet (Mai 2019).

Anonim

Cet exemple d'image a été tourné avec un iPhone 6 et édité en utilisant le programme Phancer AI.

Les caméras Smartphone restent plus limitées que leurs homologues plus grands DSLR, mais les scientifiques espèrent réduire l'écart grâce à l'intelligence artificielle. Dans un article publié récemment, des scientifiques du Computer Vision Lab de l'ETH Zurich ont développé un système de réseau de neurones baptisé «Phancer» qui permet de prendre une photo de smartphone et de lui donner les couleurs éclatantes et la netteté d'un appareil photo reflex numérique.

L'équipe a commencé par former un réseau en utilisant des photos prises au même endroit avec un smartphone, puis avec un reflex numérique et en comparant la qualité entre les deux. Toutefois, tenter de transformer une image de smartphone en un reflex numérique a entraîné une perte de contenu, de couleur et de texture. Pour corriger ces changements, les chercheurs ont créé un réseau de neurones convolutionnels à 12 couches (CNN), dont trois fonctionnent pour corriger la perte de contenu, la perte de couleur et la perte de texture. Le groupe a ensuite formé le système dans son ensemble, ce qui signifie que le premier CCN contient les capacités de toutes ces couches.

Puisque le système fonctionne sur une comparaison, le programme doit savoir quel smartphone vous avez utilisé pour la prise de vue et quel appareil photo numérique vous souhaitez imiter. Si les deux images sont dans la base de données, le système peut appliquer un algorithme pour améliorer le tir de ce smartphone téléchargé.

Le résultat est une photo avec l'exposition et les couleurs qui sont plus proches de ce matériel DSLR, en dépit d'être tiré sur un smartphone. Le système n'est pas parfait - les chercheurs disent que les dominantes de couleur impaires sont communes, par exemple, en ajoutant une teinte verte à l'image globale. Le logiciel peut également aller à l'encontre de l'ajout de contraste, les chercheurs ont dit, et dans les images de caméras de qualité inférieure, le programme peut exagérer le bruit.

Le logiciel ne considère qu'une poignée des différences entre les smartphones et les reflex numériques, à savoir la couleur et la netteté. La recherche ne mentionne pas d'essayer d'imiter la profondeur de champ (que l'IA peut déjà faire avec le bon matériel, soit un appareil photo à double objectif comme l'iPhone Plus, soit un capteur à deux pixels comme le Google Pixel 2). Le logiciel dans certains cas a également souligné le grain des caméras de smartphone qui sont moins prononcées par les reflex numériques. Mais, couplé avec d'autres projets de recherche et la technologie existante, l'algorithme pourrait aider l'IA à combler une partie de cet écart entre le matériel de smartphone et les caméras dédiées.

Le logiciel est disponible pour les utilisateurs à essayer en ligne, avec un ensemble de résultats avant et après de ce que le programme peut faire.

Le groupe n'est pas le premier à tenter d'utiliser l'IA pour améliorer la qualité des photos de smartphones. Plus tôt cette année, un groupe de l'UC Berkeley a créé un algorithme de transfert de style qui reprend le style d'une image. tenter de transférer le style DSLR à un smartphone parmi la liste des échecs.