国際芸術祭「東京ビエンナーレ2020/2021」がスタートする7月10日が目前に迫るなか、本イベントでアーティストの作品をARで表現することを可能としたAR三兄弟／開発者の川田十夢（かわだ・とむ）さんに、特別インタビュー。自身が作家として携わる「都市と経験のスケール」の制作過程で活用した技術や作品への思い、そして「5G LAB」とAR三兄弟のコラボ作品「進撃の巨人ARアート」の制作秘話を聞きました。
東京ビエンナーレ
世界中から幅広いジャンルの作家やクリエイターが東京のまちに集結し、まちに深く入り込み、地域住民の方々と一緒に作り上げていく新しいタイプの芸術祭である東京ビエンナーレ。5Gの技術を駆使したARとアートがコラボする「東京ビエンナーレ 2020/2021」では、7月10日から9月5日の開催期間中に東京の新しいまち歩き体験を楽しめます。
“AR映え”するものとしないもの。表現者としてAR作品を作り続ける理由
お話を聞いた、AR三兄弟の川田 十夢（かわだ・とむ）さん
長男 川田十夢、次男 髙木伸二、三男 オガサワラユウによる、やまだかつてない開発ユニット「AR三兄弟」の長男。2009年から、特にARに関するネタを連続的に発表。芸能から芸術まで、その拡張範囲はブラックホールのように、東京でいうと東急ハンズ渋谷店のように広大である。
- Twitter：@ar3bros
まずは、一番お気に入りの作品を教えてください。
今回はいろんなアーティストの方とコラボレーションをしていて、全部面白いですよ！ まあ、その中でも自分が作った、「都市と経験のスケール」は一番印象に残ってますね。
冒頭で、車いすに乗っている寺田ユースケくんという生まれつきの脳性麻痺により足が不自由な男性のモデルが出てきます。過去のAR作品に、スキャンした身体情報に、プロのダンサーのモーションデータを取り込んで、ARの舞台上で自分が踊りだすという舞台作品（NO BORDER）があるんですけど、彼はそれを体験してくれていたんです。
寺田くんが踊っている姿を見て、本人や家族がすごい喜んでくれて。こうしたARならではの体験の受け渡しみたいなものを作品としてかたどりたいと思いこの作品を開発しました。他にもお相撲さんやバレエダンサーや空手家やサエポークという名の豚さんなど、個性豊かな面々が登場します。
AR（拡張現実）
Augmented Realityの略。実際の景色にコンピューターで作った文字や画像を重ね合わせ、現実の世界を拡張、補完させる技術のこと。川田さんは視覚分野だけではなく、ネクストレベルの拡張を目指して開発を続けられています。
東京下町の街歩きが今回のテーマですが、東京を歩くときどこに注目しているんですか？
東京にはとにかく変なところが多い。例えば、吾妻橋の変な雲みたいなやつとか、スカイツリーとか、並びが変じゃないですか（笑）。あと、ビルの合間にテトリスの細い棒が入りそうだなとか、いろんな想像をしながら歩いていますね。想像の余白みたいなものが東京にはいっぱいあると思うので、それ自体をモチーフに作るのは面白いですね。
東京ビエンナーレの中心エリア（東京都心北東）でよく行く場所はありますか？
僕は今40代なんですけど、どの年代においても神田には行き続けています。何かしら掘り出し物があるし。古本屋を巡って、おなかがすいたらカレー食べてまた歩いて、疲れたらさぼうる行って、出てまたすぐさぼうる2でメロンソーダを頼む、みたいな。ちなみに、昔はよくSFとか読んでました。今はSFより現実の方が進んでしまったので、読書よりも開発の方が楽しくなっちゃいましたが。
リアルではなく、あえてデジタルツインといったテクノロジーを使うことの良さはありますか？
確実に、現実には作れないものがあるということです。例えば、リアルに仏像をビルの上から落としたら怒られます。
怒られるじゃすまないですね（笑）
AR上に作品として作れば、現実の空間性を帯びながら体験できるので、ARならではの作品価値があると思います。
シンプルに、できないことができるようになるということですね。
そう。だから、逆に現実でできることをやっても仕方ないのかもしれないし。AR映えする作品とそうでないものはあると思います。インスタ映えするネタとしないネタがあるように。
ARだからこそ、楽しめる街歩きってなんでしょうか？
誰かと一緒にする街歩きって一番面白いじゃないですか。例えば動画は場所に関係なく楽しめるので、「その場所で」見る価値はないけど、神田を歩きながら神田に詳しい人から話を聞くという経験は、場所に根差しているし平面的な体験とは異なると思います。AR技術によって、こうした体験をカジュアルに提供したい。
なるほど。
テクノロジーって、人の形をしたほうがいいものもあれば、そうでないものもあると思う。友だちとかもわざわざ誘うことなく、いつでも付き合ってくれる人の形をしたテクノロジーがあれば、時間を気にせずに街歩きといった日常生活を楽しむことができると思います。人の形をしていることで寄り添ってくれることもあれば、人の形をしていることで煩わしいこともある。
お医者さんも、人の形をしていないほうがもっと頻繁に通いたくなる。テクノロジーと人間には不思議な関係があると思います。ここが一番大事なところになってくると考えています。
「進撃の巨人」が東京駅でラジオ体操!? アート制作の裏話も
普段はどんなプロセスでコンテンツを作っているか教えてください。
絵コンテを書いたり、設計図を書いたり。技術は一つのレシピみたいに、技術そのものを主題にして試すことが多いですね。オクルージョンという技術が初めてできたときも、「オクルージョンで贈る言葉」という作品を作りましたね。
ダジャレ……（笑）
技術ってわりと難しいところがあって、そのまま伝えても伝わらない。むしろ大喜利のお題みたいに捉えて、ユーモアを交えて伝えるようにしてます。
ちなみに、「オクルージョン※」ってそもそもなんなんでしょう？
簡単にいうと、前にあるモノが後ろにあるモノを隠す、ということです。僕が目の前に立っていたら、後ろにある壁やイスは見えないでしょ？それを、ARの世界でリアルタイム演算して再現することって、わりとムズいです。
- ※
オクルージョン技術：空間を認識し、現実世界の前後関係を読み取ることで、前にある物体が後ろの物体を隠すこと可能とする技術
と、熱を込めて話すうちに、オクルージョン（？）でヘルメットとメガネだけになった川田さん。
そうなんですね。作品のアイデアはどのように得ているのですか？
思いつきですね。例えばオクルージョンって聞くと意味が分からないけど、まず辞書で調べる前に、言葉のイントネーションやリズムから考えます。最新の技術って分かりにくいけど、それを言葉遊びのようにネタとして扱って、誰か鑑賞者が笑ってくれればそれは理解できたと同義だと思っています。人って理解していないものでは笑えないので。
「進撃の巨人ARアート」
目玉作品のひとつでもある「進撃の巨人ARアート」の見どころは？
今までは2D表現がメインだったので、空間を自分で把握しながらやらなきゃいけなかったんですけど、これは距離のスケール感をしっかりシミュレーションしているので東京駅周辺の風景と馴染（なじ）むんです。東京という場所に巨人が現れたらどんな感じか。リアリティーがあります。僕もハッカソンの審査員などで協力している国交省の「PLATEAU」という技術も、組み合わせながらやってます。
3D都市モデルプロジェクト「PLATEAU」
国土交通省が進める 3D都市モデル※整備・活用・オープンデータ化のリーディングプロジェクトです。都市活動のプラットフォームデータとして 3D都市モデルを整備し、オープンデータとして公開しています。
「PLATEAU」のデータを活用した作品の一つ「進撃の巨人ARアート」は、土地のデータや建物の立体を無視した平面での展開「平面AR」では表現できない立体かつオクルージョンをかなえたダイナミックな作品となっています。
- ※
3D都市モデル：国土交通省が「PLATEAU」の一環として整備する、実世界（フィジカル空間）の都市を仮想的な世界（サイバー空間）に再現した3次元の地理空間データのこと。
「PLATEAU」が役に立ったポイントを教えてください。
まず、都市の立体情報が正確に出ているので、ゼロからモデルを作る必要がないです。例えば東京都のデータを今から作る場合、フォトグラメトリーといった技術を用います。3時間くらい歩きながら多面的に対象の写真を撮ってからモデリング作業をする必要があります。これに比べてすでに東京都の主要都市分すべてのデータがあるので使いやすいですね。
マテリアルの情報も充実してるので、単なるCG的な使い方だけではなくて、流体力学などの物理演算にも使えます。Googleなどが提供してるデータよりも使い勝手が良いと実感しています。
大人気の「進撃の巨人」をARで再現する際に、どこにこだわりましたか？
めちゃくちゃこだわりましたよ。連載からずっと拝読してたし大好きなので。諫山創先生による原作は、もちろんシリアスな作品なのですが。余白を見つけてはおボケになるところがあって。こうしたライセンスがしっかりしたコラボ作品を作るときも、そこまでふざけられない雰囲気はあるんですけど、ちゃんと原作と地続きであり得る風景をイメージしました。物語の続きを考えるみたいに。原作にはないけどあり得るギリギリのライン。
提案が通らないかも… とも製作委員会の担当者さんにも言われたんですけど、うっかり全部通りました（笑）。
アツい思いが伝わったんですね。
どこまでネタバレしていいのか分かんないんですけど、巨人の身体のスケールに慣れるにはやっぱり時間がかかるだろうなと思って、準備運動しないとな～と。それで、ラジオ体操させました。ちょっと見てみる？
ちゃんと東京周辺の位置関係を捉えながら、動作しています。準備体操もちゃんとしないと、空間把握もできなくて不自然にモデル同士が干渉してしまいます。獣の巨人にしても、ピッチングの練習をしっかり普段からしてないと、人類に投石できないですからね。
来場者にどんな風に楽しんでほしいですか？
「進撃の巨人」のファンの方には、物語の続きを楽しむつもりで体験してほしいですね。「進撃の巨人」を知らない方にも、巨人が東京に現れたらこんな感じになるのか、というのをイメージしたうえで原作を読んでいただけたらまた違う楽しみ方ができるのではないかと思います。
親しみを感じてもらう、というのは確かに大切な気がしますね……。川田さん、さっきからオクルージョン（?）されているの気づいています......?
おっとっと……。気を抜くとすぐこれなんだよね、失礼。
川田さん、おかえりなさい。
コロナ禍だからこそ、ARアートが街づくりに貢献できること
今回の作品でチャレンジしたテクノロジーのポイントは？
5Gの通信を活用した、膨大なデータに基づくARが技術的によくできていると思います。エンターテインメントや芸術の分野では特に、技術の都合に左右されずにいかにアートの可能性を広げるかが大切。場所に根差したフレームやオクルージョンという考え方も厳密にはまだ「AR SQUARE」にはないと思うので、今後、「AR SQUARE」でできることが増えるのを期待してます。
AR SQUARE
AR技術を使って、好きなアート作品やアーティストと一緒に撮影ができるサービスです。360度回転、拡大、縮小して自由自在に鑑賞、一緒に撮った映像をSNS投稿し、友人や家族と楽しむことも可能です。
通常の美術館では味わえないARならではのアートの醍醐味（だいごみ）は？
建物から飛び出して体験できるという、ダイナミズム。東京駅の絵を描く人はたくさんいるけど、公式に東京をフレーム化してAR作品にした人はほとんどいないと思いますね。都市は歴史をまとっているから、どこの場所でも時間軸と空間軸がある。美術館は固有の場所ですが、今回は街という巨大なフレームのなかで機能する作品です。
作品の一つである”Small mountain in Tokyo” のように、かつて東京に山があったという知られざる東京の歴史も作品に内包されているので、空間軸だけではなく時間軸がうまく作用していると思います。
デジタル化が進む社会で、ARアートは街づくりにどんな役割を果たせると思いますか？
シャッター街とか、人のいないところに人を集めることができる可能性が膨大にあると思っています。コロナ禍では、人をあまり集めることはできませんが、大切なのはテクノロジーによって三密と呼ばれる負の密度をコントロールすることです。
時間と空間に執着せずに鑑賞できるというのは大きなことだと思います。過疎化や人流のコントロールをはじめとして、デジタルが介在することでできる施策がたくさんあって、そうした社会が抱える課題解決に役立てることができると思います。
コロナ禍だからこそのアートの役割やチャレンジしたいことはありますか？
今回の取り組みは、現実に左右されない作品の在り方を問いたいと思い、ソフトバンクさんにご協力いただき初めて行いました。ARをアートに活用するという今回の取り組みは芸術以外にもいろんな分野に良いヒントをもたらせるのではないかと思っています。オリンピックが開催されようがされまいが、そういう誰かの意思決定に左右されない手法。まさに、現実的には難しいけど、拡張現実的には可能になるイベント開催。「あ、こういうやり方もあるんだ」って。
芸能分野や都市デザインなど、まだ試していないことがいっぱいあります。今後さらにARの領域を広げるために、通信インフラなど、さまざまな業界の人たちと協力してトライしていきたいですね。
「進撃の巨人ARアート」も登場する「東京ビエンナーレ2020/2021」は7月10日から9月5日まで開催します。ぜひ、東京のまちに出現する圧巻のARアートを体験してみてください。
「東京ビエンナーレ2020/2021」のWebサイトをチェック！
（掲載日：2021年7月9日）
文：ソフトバンクニュース編集部
アートの新しい楽しみ方を「AR SQUARE」で体験してみよう！
「東京ビエンナーレ2020/2021」では、スマホのカメラを通して、アートを東京の街に出現させ、現実の背景や人物と一緒に写真や動画を撮影したりすることができます。撮影した写真や動画をSNSに投稿することも！
