蠅の女王

小倉涌 画家 美術家 アーティスト 歴史画

絵画復元でのAI技術による「客観性」について  〜NHK『モネ 睡蓮 よみがえる“奇跡の一枚”』を観て

f:id:YOW:20190618171008p:plain:w700
www.nhk.or.jp

古い白黒写真からカラーに自動変換される際の問題

 2019年6月16日日曜日、21時、NHKスペシャルにて『モネ 睡蓮~よみがえる“奇跡の一枚”~』という番組をやっていた。番組冒頭のナレーションではこう言っていた。
「失われた半分をAIを駆使した最新のデジタル技術で復元されました。前代未聞の試みです」
 番組製作としては、「AIによる画期的な試み」推しで企画されたことが伝わる。その後も今回のAI技術の最新性?をアピールするナレーションが繰り返されるが、観てる方は特段、これで最新のものである印象がしてこない。放映時思ったのは、「失われた美術」の復元図の客観性をAIに担わせるというよりは、AI駆使したと言えば選定の客観性を主張しうるとなっていくような、危うさを覚えたのだ。最近、Twitterでよく流れてくる「古い白黒写真をニューラルネットワークによる自動色つけ」というのがあって、色判定が果たして正しいのか分からないのに歴史的な写真においてこれが実際の色彩だったと一般には認知されてしまう危うさを指摘する人も多い。

f:id:YOW:20190618181238j:plain:w250

特に、この呉から撮影された原子爆弾のキノコ雲の自動色つけが流れた際は、キノコ雲の実際の状況、科学的現象とは反した色つけになっていると批判があったのを覚えている。今回の番組のクロード・モネ作品も、1925年に全体像を撮ったネガが残されていて、その白黒写真を元にカラーのデジタル復元画像を製作するという企画であった。

番組前半 ー 件の絵画作品の経緯と、日本での美術館修復作業

 件のクロード・モネの1916年大作・タイトル『睡蓮 柳の反映』は、往年の美術コレクターである松方幸次郎(1866−1950)がモネから直接買い上げたもので、第2次大戦で作品をフランスに置いたままにせざるをえず、パリ郊外の村の民家にずっと安置されていたが、湿気対策等をとっていなかったため、件のモネ作に関しては、画布や顔料の湿気での膨潤を経て絵の具の夥しい剥離、さらにカビの侵蝕といった被害を被っていて、大戦後、一旦木枠から画布を外して傷んだ画布上半分を切除したようで、下半分だけがルーブルの保管室で更に数十年眠っていた、ということのようである。 

f:id:YOW:20190618171712p:plain:w400

 松方幸次郎所蔵ということで、東京の国立西洋美術館に郵送され、こちらの修復士で作業を行ったと。西洋美術館での修復作業は、チョウザメの皮の膠?を接着剤にし剥離した絵の具を繋げ、画面に付着した厚い埃を除去し、補筆・補彩は一切加えないという、現状維持で且つ最善の状態を目指したもので、通常のミュージアムの修復の仕事だったと思われる。この修復作業や画家の経歴紹介が、番組の前半分を占めている。

f:id:YOW:20190618171904p:plain:w400

デジタル画像復元図の制作、ふつう、こうしない?私だけ?

 そうして、番組はデジタル画像による復元図制作の紹介に移る。放映時、このデジタル復元の様子を観ていて「なんて要領の悪いまどろっこしいことをしているんだろう、」と思った絵描きクラスタは多いかもしれない。私も「この人工知能の研究者は絵画復元を通して、いったい何がしたかったのだろうか?」と思った。私がもし、復元図製作を任されたら、こういう手順を考えるだろう。

  • 使われた絵の具や画布の特定、修復士に先ず訊いて、必要なら科学分析に来てもらう
 → 当時の既製品かどうか。
   顔料はどこで採れたものか。
   顔料の粒の粗さは。
   画布はどこで入手出来たものか。
  • 1916年前後の他の作品を観る。所蔵館に高画素スキャンデータなどがあった場合はそれを入手。
  • 西洋美術館の担当者や、絵の具の開発会社から、使われていた絵の具の劣化具合や在りし日はどんなだったか推測を教えてもらう。また、使われていた筆の特定も。
 → 筆の大きさと毛の種類
  • フランスの文化財アーカイブで見つかった、1925年に作品を撮ったネガ板を見に行って、白黒写真をコンピューターに取り込む
  • できれば、タッチの高低差もデータ化したい。等高線などで表出させられないものか
  • 大きな豚毛筆で大作を普段から描いてる画家を招いて、タッチの再現について協力を仰ぐ
  • 使われてた絵の具の顔料等の屈折や波長など、一定の照明環境下での「見え方」を専門家に分析・算出してもらって、コンピューターに覚えさせる

エトセトラエトセトラ。
 どの高さのレベルの復元を目指すのかで、調べる範囲は変わるだろう。私が考えるなら、使われていた絵の具や顔料と、画布の種類、目の粗さの特定だけは外せない。ところがだ。

デジタル界隈での色彩とはどう認識されてるか問題

 デジタル復元画像製作を担当したのは、西洋美術館とは別個のグループだった。リーダーは、文化財のデジタル保存に携わってきた印刷会社・凸版印刷に所属する人。クリエイターとして所属しているらしい。コンピュータの機械学習の担当が、筑波大学人工知能科学センターの研究者で、凸版印刷の人から委託があってのことらしい。*1 デジタル復元部門の作業として番組で最初に紹介されたのが、修復を終えて壁に展示できる状態になったモネの絵を、4億画素の高精細カメラで部分撮影して、コンピューターにデータとして取り込むこと。そしてパリのミュージアムで保存されていた1925年当時の全体像の写真ネガをデータとして取り込んだ。それはいい。ここでナレーション、

白黒部分に、どのような色が付けられていたのか、それを推定するのが、AIです。
飯塚さん(筑波大)は、今回、モネと全く同じ色使いが出来るAIを目指し、独自のプログラムを開発。初期から晩年の200点以上のデータを集め、AIに徹底的に学習させました。

f:id:YOW:20190618200056p:plain:w700
 ここで、学習の素になった作品画像が何なのか、示されていなかった。番組が作ったイメージ図では、積み藁の絵、サン=ラザール駅舎の絵などが入ってる。見た当初から気になったのは、
「この画像、どこでどうやって集めたの?適当に拾った画像ならば、それはデータとは言い難いのでは?」
 所蔵館によっては、既に詳細なデジタル画像を撮ってアーカイブ構築しているところも多い。そういう高画素のデータを貰ったのならまだしも良いが。採られた手法、段取りなどからも「色が見えるとか色とは何か」についての科学的知識が、この2人はどうも欠けている気がする。特に、番組内で、凸版印刷の人としか紹介が無かったので「エンジニアやデザイナー、営業部の人でもあり得ない」と訝しんだが、肩書きを検索してみたら単に「クリエイター」となっていて、まあクリエイターならさもありなんと納得(イヤイヤ 番組での言葉の意味の正確さ?も全体に、「データ」といい「AI」といい、どう定義して話されてるのか、おぼつかない。これはテレビ番組には往々にしてある傾向だけれども。
f:id:YOW:20190618220549j:plain:w500
f:id:YOW:20190618220701j:plain:w500
 200作品の画像の機械学習を100万回させたしそうだが、次に、上のように、白黒画像から絵の色をコンピューターに推定させる機械学習を繰り返させたそうだ。
 我々などはすぐう思ってしまうのだが、我々とは違う何か成したいことがあるのだろうか、と見守った当初。*2
 オンデマンド放送で観直して改めて思ったのが、今回の問題の一つに、デジタル復元を実寸大で展示することを最初から目指していたはずだと思われるが、いくら「AIが画像を学習ン100万回やりました」と言っても、ここで着目されていた情報が単に「画像上の色味」のみであって、この情報だけで大サイズの復元図が作れると思ってたらしいところ。これが、小サイズの再現図なのだったら、特に問題はなかっただろう。
 果たして、西洋美術館側の研究者たちを招いての中間報告会のプレゼンでは、出来上がりに違和感があるとクレームが上がった。曰く、

「下半分と上半分が、様式がまったく違うんですよね」
「真ん中の明るく光ってるところ、色味がだいぶ違うんですよね」
「絵の全体のトーンと合わない」

 そこでデジタル復元グループのリーダーの人が

「そういう、明らかに違うところは、こうじゃないよね、こうだよねっていう、推論を積み重ねていくのを…」

と提言する。それへ、西洋美術館の館長さんが、

「修正していくときのね、根拠っていうのが」

と、AIを導入してやる意義そのものを問い直してこられた。失われた部分の色の推定のまさに客観的根拠として、AIの機械学習をもってきたのだが、やはり使う人間側の考え方の問題が浮き彫りになった。
 それから、デジタル復元班リーダーは、モネの若い時の画像データも機械学習に入れたのが間違いだったのではと思い至る。ということで、1916年前後のモネ作品を観に、パリ、香川等所蔵館を訪ねることになった。
 まぁ、年代が変わると、使う顔料や絵の具や画布も手に入る条件も、経済的状況も違ってきたりするので、年代を特定して調べるというのも大事だわな。しかし番組の作りとしては、モネが妻と息子を失い、白内障もあって、その精神状態から若い時よりも暗い色を使うようになっていったのではないか、といういかにも空想的な解説を流していた。

やっと放射線による成分分析が登場!!

 1916年前後の作品を訪ねると、存外に「睡蓮 柳の反映」の習作らしき小品が国内にもあることが分かったりした。えええええ…。今頃になって。それを4億画素の高画質カメラで記録しコンピュータに取り入れ、今度は330万回機械学習させた、と。うーん…。機械学習の数増やしたら今回の再現の性能が上がるとは、どうも思えないのだけど。識者のみなさんにおかれては、どう思いますか?
 ここで、ようやく、絵の具の成分特定で放射線測定が入った。えええ遅すぎないか?これを最初にやれば、復元もはかどったのに。

f:id:YOW:20190618230056p:plain:w400
f:id:YOW:20190618230235p:plain:w700

 絵の具の成分はカドミウム、クローム等ということで、既製品の絵の具を使用して描かれたのだろうかな。
 さらに、色味の特定だけでは鑑賞に耐えられる復元図にはならない、とようやく気付き、若い画家さんを召喚し、タッチを実際に実寸で書いてもらうことに。

f:id:YOW:20190618230604p:plain:w400
f:id:YOW:20190618230643p:plain:w400

 緑色の地塗りをした上にタッチを繰り返してもらうのって、クロマキーになってたのね。タッチ一つ一つをコンピューターに取り込んで、グラフィックソフトによって人力で変形させたり、ブラシツールを作って足していったり。

f:id:YOW:20190618231204p:plain:w400

 結局、AI(とやら)が果たしたのは、色味特定のため数百万回に及ぶ機械学習をしただけじゃないか。後はほぼ人力じゃないか。
 もう一つ問題は、このデジタル復元班がモネの実作をちゃんと観察してから仕事に入ったと思えないところ。タッチの盛り上がりや筆触、絵の具の重ねなど、物質的な表現を無視して、画像で見た色と形にしか着目されていなかった。私は、絵画は写真や画像だけではなく、実作をちゃんと見る必要性を言ってるが、残念ながら、美術史の博士をとった人や若手評論家にすら、このことを重視してない発言を見てきた。↓参考記事
yow.hatenadiary.jp

 文化財デジタル保存で活躍してきて国立西洋美術館から委託請けたような人がまさか、ここまで絵画構造に理解が無いとは、なかなかに衝撃的な番組ではあった。