Catégories
Espace et Galaxies

L'IA passe à 60 images par seconde les images lunaires d'Apollo

AI passe à 60 images par seconde les images lunaires d'Apollo

Crédits: Dutchsteammachine

Aussi excitant et passionnant que de regarder toutes les images historiques des atterrissages sur la lune d'Apollo, vous devez admettre que la qualité n'est parfois pas si grande. Même si la NASA a travaillé sur la restauration et l'amélioration de certaines des séquences Apollo les plus populaires, certaines d'entre elles sont toujours granuleuses ou floues.

Mais maintenant, de nouveaux développements dans l'intelligence artificielle sont venus à la rescousse, offrant aux téléspectateurs une expérience presque nouvelle en regardant la vidéo historique d'Apollo.

Un spécialiste de la restauration de photos et de films qui s'appelle DutchSteamMachine a travaillé un peu de magie de l'IA pour améliorer le film Apollo original, créant des clips vidéo et des images d'une clarté saisissante.

"Je voulais vraiment offrir une expérience sur ces vieilles images qui n'a jamais été vue auparavant", a-t-il déclaré à Universe Today.

Jetez un œil à ces images améliorées d'une traversée de rover lunaire Apollo 16 avec Charlie Duke et John Young, dans lesquelles les images qui ont été tournées à l'origine à 12 images par seconde (ips) ont été augmentées à 60 images par seconde:

Superbe, non? Et j'ai été époustouflé par la vue nette de la surface de la lune dans cette vue améliorée du site d'atterrissage d'Apollo 15 à Hadley Rille:

Crédits: Dutchsteammachine

Ou regardez à quel point Neil Armstrong est clairement visible dans cette version améliorée de la vidéo "première étape" souvent vue d'Apollo 11 prise par une caméra vidéo 16 mm à l'intérieur du module lunaire:

Crédits: Dutchsteammachine

L'IA utilisée par DutchSteamMachine est appelée INterpolation de trame vidéo sensible à la profondeur, ou DAIN en abrégé. Cette IA est open source, gratuite et constamment développée et améliorée. L'interpolation de mouvement ou l'interpolation d'images compensées en mouvement est une forme de traitement vidéo dans laquelle des images d'animation intermédiaires sont générées entre les images existantes dans le but de rendre la vidéo plus fluide, de compenser le flou, etc.

"Les gens ont utilisé les mêmes programmes d'IA pour redonner vie à d'anciens enregistrements de films des années 1900, en haute définition et en couleur", a-t-il déclaré. "Cette technique semblait être une bonne chose à appliquer à des séquences beaucoup plus récentes."

Mais vous ne pourrez peut-être pas essayer cela à la maison. Il faut un GPU puissant et haut de gamme avec des ventilateurs de refroidissement spéciaux. DutchSteamMachine a déclaré qu'une vidéo de seulement cinq minutes peut durer de six à 20 heures. Mais les résultats parlent d'eux-mêmes.

Il a expliqué comment il faisait ce travail: "J'ai d'abord cherché des vidéos source de la plus haute qualité, que j'ai heureusement trouvées en tant que fichiers vidéo 720p à haut débit", a-t-il déclaré. "Le problème de qualité a donc été résolu. Il est important de commencer avec la source la plus élevée possible et de monter à partir de là. Cependant, la plupart des séquences tournées étaient encore très saccadées. C'est parce que pour épargner le film et enregistrer pendant de longues périodes, la plupart des images du rover ont été tournées à 12, six ou même une image par seconde. Bien que les gens aient déjà essayé d'appliquer une stabilisation et / ou des types de fusion d'images pour atténuer cet effet, je n'en ai jamais été vraiment satisfait. "

DutchSteamMachine cherche à déterminer la fréquence d'images d'origine, qui peut généralement être trouvée dans les documents de la NASA ou, comme dans le cas des images d'Apollo 16 ci-dessus, les astronautes l'annoncent lorsqu'ils mettent la caméra sous tension.

"Malheureusement, parfois, le framerate semble être éteint ou fluctuant, ne fonctionnant pas toujours comme prévu", a-t-il déclaré. "La meilleure façon de trouver le framerate est donc d'écouter les points de repère dont parlent les astronautes et de faire correspondre les images à cela. Je divise le fichier source en images PNG individuelles, les saisis dans l'IA avec le framerate d'entrée (un, six, 12 ou 24) et la fréquence d'images de sortie souhaitée par taux d'interpolation (2x, 4x, 8x). L'IA commence à utiliser mon GPU et examine deux images réelles consécutives. À l'aide d'algorithmes, elle analyse les mouvements d'objets dans les deux images et rend les images entièrement nouvelles. Avec un taux d'interpolation de, par exemple, 5x, il est capable de rendre cinq images "fausses" à partir de seulement deux images réelles. Si le métrage a été enregistré à 12 ips et que le taux d'interpolation est réglé sur 5x, le La cadence finale sera de 60, ce qui signifie qu'avec seulement 12 images réelles, elle a créé 48 images «  fausses ''. Les deux sont ensuite exportées vers une vidéo et lues à 60 images par seconde avec les images réelles et les images fausses.Enfin, j'applique une correction des couleurs , comme souvent les fichiers source ont une teinte bleue ou orange. Je synchronise les images avec audio, et si possible, également la télévision et les photos prises en même temps. Parfois, deux caméras 16 mm fonctionnaient en même temps, je peux donc les lire l'une à côté de l'autre. "

Voici une vidéo qu'il a partagée de son studio et de son équipement spécialisé:

Crédits: Dutchsteammachine

DutchSteamMachine fait ce travail pendant son temps libre et le publie gratuitement sur sa page YouTube. Son slogan est «Préserver le passé pour l'avenir» et il utilise également les mêmes techniques pour améliorer les anciennes vidéos, images et diapositives à domicile.

«C'est formidable de lire les réactions des gens sur mes images», a-t-il déclaré. "Donc, quand les gens publient des choses comme, 'Wow! C'est incroyable! Je n'ai jamais vu ça avant !,' ça me permet de continuer."

Si vous souhaitez soutenir l'incroyable travail de restauration / amélioration effectué par DutchSteamMachine pour les images Apollo, voici sa page Patreon. En soutenant son travail, vous obtiendrez des extras, un accès anticipé et des aperçus des travaux à venir, ainsi que la possibilité de poser des questions sur le processus. Et il a l'intention de continuer à venir.

«J'ai l'intention d'améliorer des tonnes de séquences d'Apollo comme celle-ci», a-t-il déclaré. "Beaucoup plus d'espace et de séquences liées à l'histoire vont être publiées en continu sur ma chaîne YT." Il a également une page Flickr avec des images plus améliorées.


Un expert en cinéma explique pourquoi les images d'atterrissage sur la Lune auraient été impossibles à simuler


Plus d'information:
Interpolation d'images vidéo sensibles à la profondeur: grisk.itch.io/dain-app

Fourni par
L'univers aujourd'hui

Citation:
L'IA passe à 60 images par seconde les images lunaires d'Apollo (2020, 16 juillet)
récupéré le 18 juillet 2020
depuis https://phys.org/news/2020-07-ai-upscales-apollo-lunar-footage.html

Ce document est soumis au droit d'auteur. Hormis toute utilisation équitable aux fins d'études ou de recherches privées, aucune
une partie peut être reproduite sans autorisation écrite. Le contenu est fourni seulement pour information.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *