L'IA au service du manga et de l'animation : eldorado ou illusion ? (4/5)

Utile, amusant, futile ou catastrophique... Le machine learning excite la curiosité et la créativité des éditeurs de mangas et des producteurs d'animation. Dans le quatrième volet de notre enquête, nous nous sommes intéressés aux apports des réseaux neuronaux et autres algorithmes de nouvelles générations dans le milieu de l'animation.

Episode #4: L'IA au service du monde de l'animation ?

Dans le monde de l'animation, en pénurie constante de main d'œuvre qualifiée, toute aide pour diminuer la charge de travail des animateurs, chara designers, artistes décors ou encore intervallistes est bonne à prendre.  Les studios l'ont bien compris et ils ont lancé tous azimuts des projets, principalement en partenariat avec des labos de recherches, afin d'automatiser au maximum leurs productions. D'autant plus qu'avec les services de streaming comme ADN, Crunchyroll, Disney+ et consorts… la demande en animation japonaise n'a jamais été aussi grande.

L'une des premières tâches d'animation assistées par l'IA est le travail autour des décors.

De nombreux artistes se réfèrent à des photos de décors réels pour dessiner les fonds de leurs scènes, aussi bien pour des scènes réalistes que fantaisistes. Les studios Toei animation, plus particulièrement les équipes du studio Oizumi sous la houlette de Katsuhiro Takagi, ont fait le choix d'intégrer du "machine learning". Ils se sont associés avec la société Preferred Network Inc. pour développer un outil baptisé Scenify. Celui-ci permet non seulement de scanner une photo, mais aussi de la transformer en plusieurs couches de dessins au style " anime" afin de faire gagner énormément de temps aux équipes en charge des décors. Il ne reste alors aux humains qu'à réaliser un fine tuning. Un gain de temps sur lequel la Toei animation n'a pas encore communiqué, mais qui ouvre la porte à d'autres tests.

Un autre exemple d'intégration du "machine learning". Le travail d'un intervalliste consiste à dessiner les dessins manquants entre les dessins clés (ceux réalisés par l'animateur clé). Ce sont souvent des animateurs débutants qui se voient confier cette tâche, souvent rébarbative mais cruciale pour la qualité d'une animation. Au cinéma, il est d'usage de filmer en 24 images par seconde. Dans le monde de l'animation seules les productions hollywoodiennes de Disney et consort, se permettent un tel niveau de détail. Au Japon, pour des raisons de délais de production et de coût, il est d'usage d'avoir moins d'images par seconde. Néanmoins, pour pallier la pénurie d'animateurs, de plus en plus de sociétés s'intéressent au "machine learning" pour générer automatiquement une partie de ces images.

Pour l'animateur Sanda, artiste français travaillant chez Toei Animation, " ce genre d'initiative a déjà été testée au Japon, mais ils ne proposent pour l'instant pas des résultats probants: souvent, les rendus ne sont pas naturels. La qualité d'une animation ne dépend pas que du nombre d'images, mais aussi de la fluidité et du naturel dégagé par cette dernière. L'animateur lui-même décide combien mettre d'image d'intervalle dans ses animations, ce qui fait partie de la patte de chaque animateur". 

Le logiciel singapourien Cacani a même été utilisé pour générer une partie des intervalles d'un épisode de la 5e partie de Jojo's Adventure, réalisé par le studio David Production.  

Toujours dans le domaine de l'animation, avec les progrès d'affichage des nouveaux écrans et la démocratisation des format HD voire ultra-HD (4K et 8K), les anciennes productions ne sont pas dans une définition suffisante pour être exploité sur ces supports. Les studios d'authoring réalisent souvent ce qui s'appelle l'upscaling. Or, pour augmenter la résolution sans perdre en qualité, il faut recalculer énormément d'informations qui composent chaque image de chaque séquence d'animation. C'est un travail de titan, bien aidé par les algorithmes de "machine learning". Daisuke Urushihara, le CEO de la société RADIUS5, a annoncé que leur système d'upscale sous "machine learning" pouvait fournir des résultats upscalé en 8K en quelques secondes par scène, permettant de diminuer grandement les besoins en ressources pour ce type de tâche. Et c'est d'autant plus important que de nombreuses sources anciennes ont été perdues, impossible dès lors de re-scanner en haute définition les bobines 16 ou 25mm d'époque. Certaines IA, bien entraînées, arrivent à reproduire le niveau d'un scan de bobine en partant de fichiers numériques basse définition.

Les promesses d'amélioration des restaurations d'animes anciens sont celles qui semblent le plus intéresser les fans aujourd'hui. Qu'ils soient nostalgiques de leurs VHS ou Laser Discs, ou bien qu'il s'agisse d'une nouvelle génération curieuse de découvrir les références et inspirations de leurs animateurs préférés, tous ont une appétence pour les vieilles séries remasterisées. Et puisque l'on parle de passionnés, la transition coule de source, le cinquième et dernier volet de notre enquête : " l'IA au service du manga et de l'anime : eldorado ou illusion?", sera consacré aux fans de tout horizon.