チコちゃんのCGの制作について、詳しい記事を見つけました。
収録時の頭部は着ぐるみで、後日CGへ置き換えるのですね。
やはり、収録中のチコちゃんの姿はトップシークレットのようです。
CG技術の進歩は素晴らしいですし、キム兄のアドリブ力、チコちゃんの中に入っている人の表現力といろいろな要因が重なって、大きな人気になっているのでしょうね。
TV番組『チコちゃんに叱られる！』メイキング＞＞CGと着ぐるみの融合でクルクルと表情を変える5歳児キャラクター
2017年3月の初放送直後から「あの表情はどうなっているの?」「NHKの謎技術がすごい」などの驚きの声がSNSに多数投稿された『チコちゃんに叱られる！』。2018年4月よりレギュラー放送が始まった本作におけるCG制作の舞台裏を、NHKアートに聞いた。
※本記事は月刊『CGWORLD + digital video』vol. 240（2018年8月号）掲載の「CGと着ぐるみの融合でクルクルと表情を変える5歳児キャラクター チコちゃんに叱られる！」を再編集したものです。
収録時の頭部は着ぐるみで、後日CGへ置き換える
3回の特別番組を経て2018年4月からは毎週放送となった『チコちゃんに叱られる！』。常に高視聴率を維持しており、TV離れが進んでいる19歳以下の若い世代の視聴率も好調だという。チコちゃんは「好奇心旺盛な、何でも知っている5歳児」という設定のキャラクターで、MCの岡村隆史（ナインティナイン）をはじめとする出演者に対し、「いってらっしゃーいってお別れするとき、手を振るのはなぜ？」などの素朴だが答えに詰まるギモンをぶつける。正解できなければ、顔を真っ赤にして目から黄色い炎を出し、頭から白い湯気を噴き出すチコちゃんに「ボーッと生きてんじゃねえよ！」と叱られてしまう。
番組内のチコちゃんは、スタジオを自由に歩き回り、クルクルと表情を変え、ときには頭の大きさまで変化する。「番組収録時のチコちゃんは着ぐるみで、木村祐一さんの声（ボイスチェンジャーで声音を変えている）に合わせて動き回ります。その様子を6台のカメラで収録し、45分番組として編集された映像を受けとった後、チコちゃんの頭部をCGに置き換えています」と、CGスーパーバイザーの林 伸彦氏は解説する。
番組の企画段階では全身をCGで表現することも検討されたが、早い時期に「着ぐるみが喋る」という今の方針が定められた。「現在の技術を使えば、リアルタイムにCGの頭部を生成し、モニタを介して出演者にチコちゃんが喋る姿を見せられるのでは？」というアイデアも出されたが、ヴァーチャルセット設備のあるスタジオを毎回使えるわけではなかった。加えて、チコちゃんの頭の一部分が、チコちゃんの手などによってカメラから隠れてしまった場合の処理も問題となった。「リアルタイムは無理があるだろう」との結論にいたったとCGディレクターの中野大亮氏は語る。以降では、そんな本作におけるCG制作の過程を詳しく紐解いていこう。
番組映像と頭部モデルだけでトラッキングを実現
2017年に放送された3回の特別番組では、中野氏をはじめとするNHKアートのスタッフがCG制作を担当し、徐々にデータやツールを拡充していった。「第3回からは3種類目の頭部モデルが追加され、さらにバリエーション豊かな表情を付けられるようになりました」（中野氏）。なおチコちゃんの頭部モデルは、着ぐるみの頭部を3Dスキャンしたデータを基につくられている。「3Dスキャンを活用したことで、着ぐるみからCGへ無理なく置き換えられたのに加え、トラッキングの精度も上がりました」（林氏）。
レギュラー放送開始後のCGは3班体制でつくられており、1班の人数は約7人、1回あたりの制作期間は3週間ほど、カット数は平均200カット、尺は平均18分となっている。カット数と尺は、45分番組の中からチコちゃんが登場する部分のみを抜き出した場合の数値だ。「3班中2班はNHKアートのスタッフ、残る1班は外部の協力会社のスタッフで構成されています。これまでの放送分は、前半をヴォクセルさん、後半をCONTORNOさんにお願いしています」（林氏）。
レギュラー放送が軌道に乗ってからは、「にらめっこ」コーナーの変顔をはじめ、新たなバリエーション制作にも意欲的に取り組んでいるという。「最近はスタッフの作業スピードが上がってきたので、さらに番組を盛り上げるための新しい見せ方を試行錯誤しています」（中野氏）。
ワークフローはトラッキング、フェイシャルアニメーション、レンダリング、マスク処理、コンポジットの5工程からなり、カット単位に分けられたデータが工程間で受け渡されていく。
トラッキングでは、GeoTrackerというNuke C++ APIを使って開発されたプラグインが活用されている。GeoTrackerはTVドラマ『精霊の守り人』シリーズでも使われており、そこでの手応えを聞いた林氏が本作でも使ってみることにしたという。「GeoTrackerを使えば、番組映像と頭部モデルだけで高精度のトラッキングを実現できるとわかり、採用することにしました。映像からトラッキングできるため、頭部にもカメラにも特別なセンサーを必要とせず、収録現場にいっさい負担をかけない点が大きなメリットだと思います。収録現場にトラッキングの装置を入れることも検討しましたが、装置のエラーが起こったら打つ手がありません。GeoTrackerによるトラッキングが、最も不慮の事故が起こりにくい手段だろうと判断したわけです」（林氏）。
目線の配り方ひとつで、面白さが大きく変わる
トラッキング後はFBXデータをMayaにインポートし、セリフに合わせたリップシンク、感情表現の順番でフェイシャルアニメーションを付けていく。第1回の特別番組では全カットのリップシンクを中野氏がひとりで手付けしたが、このままでは負担が大きすぎると判断し、社内のプログラマーにツール開発を依頼した。クルトンツールと名付けられた本ツールは、チコちゃんのセリフを解析し、リップシンクのキーフレームを自動生成する機能を有している。「クルトンツールはチコちゃんのセリフの中から『あ・い・う・え・お』の母音を抽出し、各母音に即した口の動きを付けます。人が手付けしたものに比べれば精度は低いですが、一定レベルのリップシンクは自動的に生成できるため、スタッフの負担は軽減されました」（林氏）。加えて、クルトンツールにはAIによる学習機能も搭載されており、使うほどに精度が上がっていくという。「クルトンツールが生成したキーフレームに対する僕やスタッフの修正結果を通して、徐々に本作ならではのキーの打ち方を学習させています」（中野氏）。
感情表現はチコちゃんというキャラクターのイメージを決定付ける重要な工程のため、初放送時からCG制作の舵取りを担ってきた中野氏と野口智美氏が担当している。「リップシンクもスタッフによって微妙にやり方がちがうため、野口と僕が修正し、統一感をもたせています。さらに眉毛、目、口の動きを細かく調整して様々な表情を付けていき、それが終わったらレンダリングを行います」（中野氏）。
本作にはチコちゃんが素朴なギモンを投げかけるスタジオコーナーに加え、チコちゃんと岡村隆史が会話をくり広げる縁側コーナーがある。後者はチコちゃんがほぼ出ずっぱりなのに加え、画面に大きく映るため、とりわけレンダリング時間を要するという。「縁側コーナーは会話劇なので、単純に喋っているだけでは面白くありません。だから表情や間の取り方をすごく大事にしています」（中野氏）。本作は全編を通して絵コンテなどの指示書がないため、チコちゃんの表情の多くはNHKアートに委ねられている。「番組演出の方々も思い入れがあるので、様々なアドバイスをくださいます。ただ、われわれのセンスもすごく問われており、目線の配り方ひとつで面白さが大きく変わります。感情表現は特に大事にしている工程だと言えますね」（中野氏）。もともと中野氏はバラエティ番組が大好きで、岡村隆史の出演番組も数多く見ているため、お笑いにまつわる豊富な引き出しをもっている。それが今の仕事に大きく役立っており、「まさに適任」と林氏は太鼓判を押す。
インターレースに対応するため、59.94fpsでマスク処理を行う
マスクはsilhouetteで作成し、そのトラッキングにはMochaを使っている。silhouetteはマスク作成専用ソフトで、ある程度の自動生成が可能なため作業を効率化できたという。「最初の1フレーム目のマスクを設定すれば、それ以降のマスクは自動生成されます。とはいえチコちゃんが大きく動いたりすると破綻するため、その都度修正していきます」（中野氏）。
コンポジットはAfter Effectsを使っており、あらかじめ作成してあるスタジオコーナーと縁側コーナーのベースコンポに各カットの素材を適用すれば、基本的な画づくりは完了する。「コーナーや収録条件によってライティングと色味は微妙に変わりますが、Mayaの設定は変えておらず、調整はAfter Effectsで行なっています。レギュラー番組の放送ペースに合わせるためには、わりきって可能な範囲で簡略化することも必要だと考えています」（林氏）。
なおトラッキングにNUKE、コンポジットにAfter Effectsを使った大きな要因は、本作の番組映像が60iのインターレースで収録されていたことだという。「トラッキングと同様、コンポジットもNUKEでやれないか検討したのですが、NUKEはインターレース映像のコンポジットに向いていないため、After Effectsを選択しました」（林氏）。「実は、一番苦労したのがインターレースへの対応でした。TVのバラエティ番組の場合、昔も今もインターレースが主流です。プログレッシブにできないか収録スタッフに相談してはみましたが、スタジオにはインターレースのカメラしかなく、視聴者が見慣れている映像でもあるので、インターレースに対応してほしいと言われました」（中野氏）。そのため本作は30fpsでトラッキングし、60fpsでアニメーション、59.94fpsでマスク処理を行い、コンポジット段階でインターレースに変換するという作業を経て制作されている。「フレーム数が倍になれば作業負担も倍になるので、できれば29.97fpsで作業を進めたかったのですが、29.97fpsでマスク処理をすると速い動きのカットでは走査線によるちらつきが出てしまうことがわかり、59.94fpsを選択しました」（中野氏）。
本作は以上の工程を経て制作されているわけだが、いずれはリアルタイムにも対応したいと両氏は語る。「ぜひ、チコちゃんを生放送番組に出演させたいです」（中野氏）。「それを実現するにはどんな技術革新が必要なのか、常に考えています」（林氏）。3回の特別番組を経て、レギュラー番組への対応を成し遂げたNHKアートは、すでに次の目標を定めているようだ。チコちゃんの今後の進化にも大いに期待したい。
TV番組『チコちゃんに叱られる！』メイキング＞＞CGと着ぐるみの融合でクルクルと表情を変える5歳児キャラクター
（CGworld.jpより）