真鍋大度個展

EXPERIMENT

2023.04.01 SAT - 2023.05.10 WED

清春芸術村

安藤忠雄 光の美術館

SCROLL

ソフトバンク 先端技術研究所は、テクノロジーがもたらすあらゆる可能性を探究しています。
テクノロジーは常に社会に変化を促してきたと同時に、その時代の社会情勢や文化、思想と混同し、想像のつかない様々な発展を遂げてきました。既成概念にとらわれず、新しい表現を開拓し続けるアーティスト真鍋大度氏の活動に共感し、このたび個展に先端技術を提供します。
アートが持つ「現代や未来への問い」による、テクノロジーの新たな展望を実験している様子をご堪能ください。

PROJECT

EXPERIMENT は、真鍋大度による最先端のアートとテクノロジーの実験場です。
真鍋は未だ社会には広く普及していない最先端技術の可能性の核をいち早く取り出し、
アートの分野で作品化するということをこれまで続けてきました。

今回は、超高速通信技術と生命知能の概念を探求する実験、実装を行い、
一連の過程をリアルタイムで公開していきます。
会期中もアップデートが繰り返され、さまざまな実験プロセスが見られるようになります。

アートは社会の変化を予言するエッジに位置します。
テクノロジーの変化がもたらす「こうなるであろう」未来像を超え、
「望ましい未来」「あるべき未来」を予言する。
そんなアートを提供したいと考えています。

ARTIST

真鍋 大度

Daito Manabe

アーティスト、プログラマ、DJ。2006年Rhizomatiks 設立。身近な現象や素材を異なる目線で捉え直し、組み合わせることで作品を制作。高解像度、高臨場感といったリッチな表現を目指すのでなく、注意深く観察することにより発見できる現象、身体、プログラミング、コンピュータそのものが持つ本質的な面白さや、アナログとデジタル、リアルとバーチャルの関係性、境界線に着目し、様々な領域で活動している。

ART DIRECTOR

吉井 仁実

Hiromi Yoshii

東京都生まれ。アートディレクター。清春芸術村理事長。 HOKUTO ART PROGRAM 総合ディレクター。現代アートギャラリーhiromiyoshiiを運営。印象派、近代美術を扱う銀座の吉井画廊勤務を経て、1999年、HIROMI YOSHII EDITIONを設立。2010年、六本木にhiromiyoshii roppongiを開廊。2016年、アート&サイエンスギャラリー〈AXIOM〉を設立。近著に『<問い>から始めるアート思考』(光文社新書)などがある。

ソフトバンク 先端技術研究所は、2022年4月に新たに誕生した「新しい技術を社会実装するための研究・開発を行う組織」です。社会を駆動する活性因子として、技術で世の中を前進させ、社会の未来を創造していきます。

EXHIBITION

EXPERIMENT 01
Telephysarumence

本作は、粘菌のシミュレーションとリアルタイムにカメラで捉えた観客の動きをもとに映像と音を生成する作品です。粘菌の集団が自己組織化し回路を形成しながら、周囲の環境の違いによって、事前に予想するのが困難な独特な振る舞いをする性質を利用し、観客の動きを解析し、粘菌のシミュレーターに入力することで、映像と音声を生成します。

現在は、粘菌の振る舞いを遠隔地に設置したコンピュータ上で模倣するシミュレーターを用いていますが、将来的には遠隔地に生きる実際の微生物とインタラクションする作品を目指しています。

活用技術

本作では、光の美術館とソフトバンクのデータセンターをネットワークで接続し、データセンターのサーバーで生成した映像を会場のモニターにリアルタイムで配信しています。

光の美術館のモニター下にあるセンサーで、来場者の動きをリアルタイムにキャプチャーし、データセンターのサーバーに送信します。サーバー上では、粘菌の振る舞いを模倣するシミュレーターが動作しており、送信された観客の動きのデータと合わせて映像と音を生成します。そして、生成された映像と音を、会場のモニター、スピーカーに配信します。

高精細な映像やインタラクティブな表現を実現するためには、描画処理や解析処理をリアルタイムで行うための潤沢なコンピューティングリソースが必要です。従来は、会場に重厚なコンピューターを設置する必要がありましたが、本作では、ネットワークを使用して低遅延に遠隔地の高性能計算機と接続することで、会場はセンサーやモニターなどの簡易な設備で展示することを実現しています。

EXPERIMENT 01 Telephysarumence 活用技術 EXPERIMENT 01 Telephysarumence 活用技術

サーバーで高負荷・高度な処理を完結、
会場は簡易的な設備のみ

EXPERIMENT 02
Teleffectence

EXPERIMENT 02
Teleffectence

本作品は、離れた場所同士を超低遅延の通信技術でつなぎ、そこに音と映像のフィードバックを生成することで、従来は不可能だった時間と空間の表現を生み出す実験です。

常に光環境が大きく変化する光の美術館と、光環境の変化が少ない長坂コミュニティ・ステーションの二拠点で、それぞれ、カメラとディスプレイ、マイクとスピーカーを二組用いた音と映像のフィードバックを作り出しています。

通常、実空間では、音源から発した音は、その空間の空間特性に応じた反響(エコー)を伴います。それをコンピュータなどでシミュレーションするのがエフェクターです。エフェクターはあらかじめ想定された空間の響き(周波数特性の変化)を計算しておくことで、音源に任意の空間の響きを付け加えることができます。本作では、そのようなエフェクターを用いるのではなく、音源から発した音を、実際に遠隔地に飛ばし、その遠隔地の空間で響いた音を、再び元の場所に戻すということをしています。これは超低遅延の通信技術がなければ不可能な表現です。

同様に、映像においても、ある空間の光の反射や影、質感などを加えるには、特殊な装置を用いて事前に空間の特性を取得しておくか、シミュレーションしておく必要がありました。しかし、今回は、映像を遠隔地に中継し、その遠隔地の空間特性を加え、再び元に戻すということをしています。

活用技術

本作では、超低遅延かつ大容量通信である光無線通信技術を用いて、光の美術館と長坂コミュニティ・ステーションの2拠点間を繋ぎ、双方向で8Kの高精細映像と音をリアルタイムに伝送しています。

光の美術館と長坂コミュニティ・ステーションに、それぞれカメラ、モニター、マイク、スピーカーを設置し、同じ構成を組んでいます。

光の美術館のカメラでモニターを撮影し、その映像は長坂コミュニティ・ステーションのモニターに表示されます。そして、長坂コミュニティ・ステーションのカメラでも同様にモニターを撮影し、光の美術館のモニターに映します。これらを超低遅延に繰り返しやりとりすることで、2拠点間で合わせ鏡のような状態を作っています。

音に関しても同様に、光の美術館で発生させた音をマイクで収録し、長坂コミュニティ・ステーションのスピーカーで出力、その音を同会場のマイクで収録させ、光の美術館のスピーカーから出力してます。これらを超低遅延に繰り返しやりとりすることで、音が2つの空間を伝って反響する状態を作っています。

EXPERIMENT 02 Teleffectence 活用技術 EXPERIMENT 02 Teleffectence 活用技術

EXPERIMENT 03
dissonant
imaginary

ある音楽を聞いた時、その音楽に関連する映像が感情と共に鮮明によみがえる経験はないでしょうか。音楽は映像体験にどんな影響を与え、またその逆に、映像が音楽体験にどのように変化をもたらすでしょうか。映画を見ただけで脳活動から音楽が自動的に生成されたり、音楽を聴いただけで映像が生成される未来はどのように実現されるのでしょうか。ブレイン・デコーディングを使った本作品を通じて、未来の音楽と映像の相互作用について考えます。

京都大学とATRの神谷之康研究室では、機能的磁気共鳴画像法(fMRI)で測定される人の脳活動パターンを機械学習によるパターン認識で解析し、心の状態を解読する「ブレイン・デコーディング」という技術を世界に先駆けて開発しました。近年では、ブレイン・デコーディングとDNN、大規模画像データベースを組み合わせることで、脳活動パターンから知覚・想起している任意の物体を解読する方法も開発し、世界中から大きな注目を集めています。

本作品では真鍋が制作した効果音と音楽を被験者に聴かせて様々な情景を思い浮かべてもらい、ブレイン・デコーディング技術を用いて脳情報から映像を生成しました。

制作協力:
京都大学情報学研究科神谷研究室

Sound by Sonos:
ソノスのサウンドはグラミー賞を誇る偉大なミュージシャンやクリエーターと一緒に高いレベル
で磨き上げられています。誰もが”音楽のあるべきサウンド”を楽しめるのです。

EXPERIMENT 03 dissonant imaginary 左:dissonant imaginary / 右:Cells: A Generation EXPERIMENT 03 dissonant imaginary 左:dissonant imaginary / 右:Cells: A Generation

左:dissonant imaginary / 右:Cells: A Generation

EXPERIMENT 04
Cells:
A Generation

EXPERIMENT 04
Cells:
A Generation

本作品は、ラットの脳の細胞を計算資源として生成的にアートを作らせる実験を通じ制作された作品です。

ジェネラティブアートは、デジタル技術によって発展してきました。とくに近年では、アーティストとコンピュータやAIの間で新たな創造的協働関係が生じ、従来のアートとは異なる表現方法が発展してきています。しかしながら、様々な便利なツールキットの登場などにより、新規性がかえって失われ、類似したコンセプトや表現が多くなって来ていることも否めません。

そこで真鍋は、脳や生物材料を研究の対象とし、私たちの脳に宿る知能、すなわち人工知能とは異なる「生命知能」の創発原理を探求する東京大学高橋宏知研究室の力を借り、ラットの神経細胞が環境に応じて学習する仕組みを開発し絵を描かせるという実験をスタートしました。

本作品ではブロック崩しゲームを環境として神経細胞が学習していく様子を映像に変換しています。ラットの脳細胞は与えられた環境の中で罰が少なくなる様に学習していきます。その過程を画像に変換することは人間の芸術家があるキャンバスや絵の具、石材といった物理的な条件のもとで作品を制作したり、重力や摩擦などの物理パラメータを利用して作品をつくることに似ているかもしれません。

将来的にはラットの脳だけでなく、真鍋の分身である真鍋の脳オルガノイド(多能性幹細胞から分化誘導された、生体と類似の構造を持つ三次元脳組織)が絵を描く、音楽を生成することを目指し、人間にとって創作欲求とは何か、そして意識とは何かという究極的な問いに迫ります。

制作協力:
東京大学大学院情報理工学系研究科高橋宏知研究室

Sound by Sonos:
ソノスのサウンドはグラミー賞を誇る偉大なミュージシャンやクリエーターと一緒に高いレベル
で磨き上げられています。誰もが”音楽のあるべきサウンド”を楽しめるのです。

Behind the Scenes

Behind the Scenes

CREDIT

アーティスト:真鍋大度

ソフトウェアエンジニア:2bit・永松歩
スペースデザイン:細野隆仁
ハードウェアエンジニア:坂本洋一
クラフト:毛利恭平
プロダクションサポート:菊池圭介・黒瀧節也
プロデュース:井上貴生

主催:清春芸術村
協力:北杜市
特別協力:ソフトバンク株式会社
制作協力:東京大学大学院情報理工学系研究科高橋宏知研究室、京都大学情報学研究科神谷研究室
音響協力:Sonos
テキストスーパーバイザー:高橋裕行

PROGRAM

展示名

真鍋大度個展 - EXPERIMENT -

開催日時

2023年4月1日(土)~5月10日(水)

開催場所

清春芸術村 - 安藤忠雄 光の美術館
・山梨県 北杜市 長坂町中丸2072

<サテライト会場>長坂コミュニティ・ステーション
・北杜市長坂町長坂上条2575-19

開館時間

清春芸術村
・10時00分~17時00分
(入館は16時30分まで)

長坂コミュニティ・ステーション
・8時30分~17時15分

休館日

清春芸術村
・月曜日(祝日の場合はその翌日)
・年末年始

長坂コミュニティ・ステーション
・月曜日(祝日の場合はその翌日)
・年末年始(12月29日~翌年1月3日)

料金

清春芸術村 入館料
・一般:1500円(1400円)
・大学生/高校生:1000円(900円)
・小学生/中学生:無料

  • 清春白樺美術館入館料・光の美術館入館料を含む
  • ()内は20名以上の団体料金

長坂コミュニティ・ステーション 入館料
・無料

主催

主催 - 清春芸術村
協力 - 北杜市
特別協力 - ソフトバンク株式会社
制作協力 - 東京大学大学院情報理工学系研究科高橋宏知研究室、京都大学情報学研究科神谷研究室
音響協力 - Sonos

ACCESS

清春芸術村安藤忠雄 光の美術館

山梨県北杜市長坂町中丸2072

TRAIN

新宿駅(JR中央本線)より120分

「長坂駅」下車|タクシー5分/バス10分/徒歩30分

名古屋駅(JR中央本線)より3時間30分

「小淵沢駅」下車|タクシー10分/バス30分

CAR

東京より車で約2時間

中央高速「長坂インターチェンジ」より15分

※駐車場あり

長坂コミュニティ・ステーション

山梨県北杜市長坂町長坂上条2575-19