ディズニーの研究機関「ディズニー・リサーチ・スタジオ」が、映像に写った人を短時間でリアルな「老け顔」や「若返った顔」に加工できる新しいAIツール「FRAN」を公開しました。
*Category:テクノロジー Technology *Source：Disney Research Studio ,DisneyResearchHub
(YouTube) ,The Verge
俳優の顔を自由自在に年齢操作できるAIツール「FRAN」
映画の中で、俳優を老けさせたり、若く見せたりするのは大変な作業です。これまでのVFX技術のエイジングでは、1フレーム枚に画像を編集したりする必要があり、大きな手間と予算がかかる技術でした。
そこで、ディズニー・リサーチ・スタジオが開発したのが映像加工を行うAI「FRAN」。同機関は学術論文の中で、FRAN(Face Reaging Network)は、様々な年齢の合成顔のペアをランダムに生成した大規模データベースを用いて訓練したニューラルネットワークだと説明しています。
FRANの仕組みは、データベースをもとに「実際の人物の顔のどの部分がどのように老けていくか」を予測し、シワなどを追加したり消したりして映像に重ね合わせるというものです。ディズニー・リサーチ・スタジオはこの技術について「映像の中の顔を再加工するための、実用的で完全自動化された初の方法」だと主張しています。
実際に動画で公開されたのがこちら。左が元の映像(input)で、右が老化(aged)した状態に加工した映像です。
映像内で女性は様々な表情に顔を動かしますが、フィルターのズレなどは見られず、非常に自然です。シワのつき方や強さは一貫しており、連続した映像でも違和感はほとんど感じられません。
こちらは逆に若返らせた映像。左が元の映像(input)で、右が若返らせた(de-aged)映像です。顔のシワが減り、口元の青みも薄くなっていることが分かります。
こちらも同じく若返らせた映像です。同じく左が元の映像(input)で、右が若返らせた(de-aged)映像。こちらは先ほどの映像よりも自然で、30代後半から20代前半まで若返って見えます。
こちらは同じ映像を逆に老化(aged)させた映像。今度は目や口元のシワが増え、額のシワも少し深くなっています。
さらに老化させた映像がこちら。さらに老化していることは分かりますが、興味深いのは口元の青みが少し薄れている点。老化に見られる特徴をよく捉えているように感じられます。
また、ブレている状態でも自然に老化の加工をかけることができます。こちらの画像は左から20歳、35歳(元の画像)、75歳という設定です。
このように高い実用性が示されたFRANですが、いくつかの限界もあるとのこと。ディズニーは、FRANが非常に若い年齢からのリエイジングのような大幅な変更には適さない可能性があること、また、ツールのトレーニングに使用したデータセットに頭髪の白髪が含まれていなかったため、俳優の年齢を上げる際に反映されないことを研究の中で述べています。
この研究を取り上げたテック系メディア「The Verge」は、これらの制限から、FRANが映画業界の多くの仕事を奪うことはないだろうと指摘しています。
手作業のVFX作業や、実用的なプロテーゼのメイクアップにはこうした制約がないことから、FRANが業界の多くの仕事に取って代わることはしばらくなさそうです。
ディズニーがこのような研究に取り組むのは、同社が映画にVFXを数多く使っていることを考えれば不思議なことではありません。「The Vrege」によれば、実際にマーベルやスター・ウォーズなどに登場する一部のキャラクターは近年VFXで調整されているとのこと。
またディズニーの研究部門は以前、2020年に「フォトリアル」なディープフェイクツールも発表しており、映像を加工するAIの開発は初めてではありません。とはいえ、この「FRAN」が一般公開されるかはまだ未定であり、まだまだ改善の余地もあるため、実用的されるのはもう少し先のことになるかもしれません。
- Original:https://www.appbank.net/2022/12/09/technology/2350816.php
- Source:AppBank
- Author:テクノロジー記事班