____ Controls 作品ガイド

NeurIPS 2026 Creative AI Track 採択作品

Controls

人間とAIの「主体性」を探るインタラクティブ作品。

エージェントは、群れをつくる、つがいになるなどの目標に沿って動き、色の痕跡を残します。
鑑賞者も赤い印を置いて動きに影響を与え、作品の反応を見て次の操作を選びます。ブラウザで体験できます。

紹介動画 · 2:22 · 日本語字幕・英語ナレーション・音楽
「EN」に切り替えると英語字幕版になります。
概要とコンセプト

作品の概要とコンセプト

《____ Controls》は、ブラウザで操作できるシミュレーション作品です。画面の中で動く「エージェント」は、生存、繁殖、群れづくりに関わる目標を持つ存在として設定しています。青いエージェントは群れをつくり、黒い二体はつがいになろうとして追いかけ合います。エージェントが通った場所には、色の痕跡が残ります。

残った痕跡が後の動きを変える

色の痕跡は、画面に重なって残ります。エージェントは近くの痕跡の分布に応じて、進む方向や速さを変えます。あるエージェントが残した痕跡が、後から通るエージェントの行動にも影響する仕組みです。

三つの層がつながった空間

作品の空間は、A・B・Cの三つの層をA→B→C→Aの順につないだものです。画面では、この空間が大きさを変えて内側へ繰り返し現れます。内側へ進み続けると、出発した層につながります。エージェントは光るボールを別のエージェントへ送り、受け取った側は進む向きや速さを変えます。この影響もA→B→C→Aの順に伝わります。

01エージェントが動く
02通った場所に色が残る
03痕跡の分布が変わる
04エージェントの進路や速さが変わる

変わった動きから、さらに新しい痕跡が生まれます。

黒と青のエージェントは、通った場所に残る色を前へ運びます。ときおり降る雨は、その色をじんわり広げ、紙に余白を戻します。エージェントは変わった絵を読み、次の進路を選びます。鑑賞者の赤い印の中心へ向かうときは、印を迂回するか、向きを反転します。

鑑賞者の操作も動きに影響する

画面をクリックまたはタップすると、赤い印を置けます。印は周囲の環境を変え、エージェントの進路や速さに影響します。反応は、印を置いた位置、すでに残っている痕跡、他のエージェントの動きによって異なります。鑑賞者はその変化を見ながら、次に印を置く位置や追跡するエージェントを選べます。

本作は、「何が誰を、どこまでコントロールしているのか」を問います。タイトルの空欄は、コントロールする主体を決めずに残したものです。鑑賞者の操作でエージェントの動きが変わり、その反応を見た鑑賞者も、注目する場所や次の操作を変えます。エージェント同士の動きや過去の痕跡も、その後の展開に影響します。

作品の着想となった理論と表現

トマセロは、目標に向かう生物が環境からの情報を使って行動を選び、その結果を次の行動に反映させる過程として、主体性を説明しています。ミンスキーは『心の社会』で、単純な働きをする複数の要素の相互作用から知的な振る舞いが生じると考えました。本作のエージェントも、目標に沿って行動しながら、他のエージェントや残った痕跡の影響を受けます。

空間の構造は、エッシャーの《滝》と、ホフスタッターの「奇妙なループ」から着想しました。一定の順序で進んでいるように見えながら、たどり続けると出発点へ戻る構造です。本作では、内側へ進むと再び同じ世界につながる空間として表現しています。

操作方法

操作方法と鑑賞のポイント

画面をクリックまたはタップすると、赤い印を置けます。印の近くでエージェントの進む方向や速さがどう変わるかを観察できます。エージェントの追跡、画面の拡大・縮小、設定の変更もできます。

基本操作
操作の目的パソコンスマートフォン・タブレット
赤い印を置く作品の画面をクリック作品の画面をタップ
エージェントの追跡を始める/解除するエージェント付近をダブルクリックすると追跡。追跡中は、作品の画面内のどこでもダブルクリックすると解除エージェント付近をダブルタップすると追跡。追跡中は、作品の画面内のどこでもダブルタップすると解除
拡大・縮小するマウスホイールを回す二本の指を画面に置き、広げる/近づける
設定を開く右上の「Controls」をクリック、またはCキーを押す右上の「Controls」をタップ
音をオン・オフにする右上の音符ボタンをクリック右上の音符ボタンをタップ
設定を含むURLをコピーする/初期設定に戻す「Copy URL」で現在の設定を含むURLをコピー。「Reset」で初期設定に戻す「Copy URL」で現在の設定を含むURLをコピー。「Reset」で初期設定に戻す

クリックやタップによる印は、約0.3秒後に表示されます。ダブルクリック・ダブルタップと区別するための待ち時間です。

01

エージェントの動き方を見比べる

黒い二体は追いかけ合い、青いエージェントは互いの向きや距離を調整して群れをつくります。金色のエージェントも含め、周囲の状態に応じて動きが変わります。それぞれの進路と、通った場所に残る痕跡を見比べられます。

02

赤い印を置く前後の動きを比べる

エージェントの進路近くに赤い印を置くと、周囲の動きに影響を与えられます。印を置く前と後で、エージェントの向きや速さ、通る場所がどう変わるかを観察できます。

03

エージェントを追跡して動きを見る

追跡中は、選んだエージェントの動きに合わせて視点が移動します。追跡を解除して画面を縮小すると、周囲に残った痕跡も観察できます。エージェントの動きと、通った場所に残る色の関係を見られます。

04

操作やエージェントの接近で鳴る音を聴く

音をオンにすると、赤い印を置いたとき、光るボールがエージェントに届いたとき、黒い二体がペアになったときに音が鳴ります。BGMは旋律も伴奏も少しずつ高くなり、低い音域へ戻って繰り返します。

設定項目とその効果

右上の「Controls」で設定を開き、動きの速さ、痕跡の重なり、色などを調整できます。

Tempo
シミュレーションが進む速さ
Layering
色の痕跡を重ねて残す量
Potential
周囲の痕跡の分布に応じて進路を変える強さ
Palette
色の組み合わせ。変更すると、エージェントの位置と痕跡を初期状態に戻す

「Sound」では、BGMと、操作やエージェントの接近で鳴る音を個別にオン・オフでき、音量も調整できます。

仕組みと制作

シミュレーションの仕組みと制作過程

作品はHTML・CSS・JavaScriptで制作し、ブラウザで動くようにしました。プログラムはエージェントの周囲の状態を調べ、次に動く方向と速さを計算します。動いた場所に色を描き、その色の濃さを次の計算に使います。鑑賞者が置いた赤い印も計算に加え、動きと描画をリアルタイムに更新しています。

JavaScript

01 / エージェントの動きを計算する

エージェントの行動規則をJavaScriptで書きました。周囲の痕跡の濃さ、他のエージェントとの距離や向き、赤い印から受ける影響を使って、進む方向と速さを計算します。環境の状態は、空間を格子状に区切った数値データとして保存し、エージェントが動くたびに更新します。

Canvas 2D

02 / 色の痕跡を次の動きの計算に使う

Canvas 2Dで、エージェントが通った場所に色を描き重ねます。描いた色がどの程度重なっているかを、不透明度から読み取ります。その値を格子状のデータに記録し、エージェントの進路や速さを計算する際に使います。

WebGL

03 / 角度と距離の地図から、円環を描く

エージェントや痕跡の位置は、横に角度、縦に中心からの距離の対数を並べた四角い地図で管理しています。左右の端と上下の端をそれぞれつなぎ、端を越えると反対側へ続くようにしました。WebGLでこの地図を円環状に表示すると、同じ三層が大きさを変えて中心へ繰り返し現れます。

四角い地図、トーラス、円環の対応を見比べる

図の赤い点Pは、対応する位置を示す目印です。スライダーやアニメーションで点Pを動かすと、三つの図で位置の対応を確かめられます。トーラスは端のつながりを示す立体図、円環は同じ地図を作品の画面へ変換した図です。

計算用の四角い地図
端のつながりを立体で示す → トーラス
角度と距離で画面に描く → 円環表示

1. 位置を記録する地図

横軸は、中心の周りの角度です。0度と360度は同じ方向なので、左右の端がつながります。縦軸は中心からの距離を対数で表します。上が外側のA、中央がB、下が内側のCです。

2. 端のつながりを立体で示す

四角の左右をつなぐと筒になり、その筒の両端もつなぐとドーナツ形になります。これがトーラスです。「地図をつなぐ形」のスライダーで、平面から筒、トーラスへの変化を見られます。

3. 同じ地図を円環に変換する

地図の横位置を円の周りの角度に、縦位置を中心からの距離に変換します。Cのさらに内側には、小さなAが続きます。同じ地図が続くため、点Pも異なる大きさの場所に繰り返し現れます。

横:角度θ 縦:距離の対数u。上へ行くほど中心から遠くなります。

「円の周りを回る」では、地図の横方向を端から端まで進む間に、円環で円を一周します。地図の端を越えると反対側から続きます。「中心へ進む」では、地図をA→B→C→Aと進み、円環ではさらに小さなAへ続きます。アニメーションを再生するか、「点Pを動かす」のスライダーで位置を変えられます。

点Pは空間をたどるための目印です。作品のエージェントは各層の中で動き、光るボールによる影響がA→B→C→Aの順に伝わります。

同じ倍率で変わる距離を、等間隔で表す

ふつうの距離の目盛りなら、1→2→3→4と同じ量ずつ増えます。対数の目盛りでは、たとえば1→2→4→8と同じ倍率ずつ増える距離を等間隔に並べます。本作では三層を一周する倍率が4.2です。中心からの距離が4.2倍、または4.2分の1になると、同じ地図の位置が再び現れます。

ふつうの距離の目盛り1248 対数の距離の目盛り1248
同じ1・2・4・8を比べています。ふつうの目盛りでは間隔が広がり、対数の目盛りでは倍率が同じなので等間隔になります。
Web Audio

04 / BGMと出来事に応じた音を再生する

Web AudioでBGMを再生し、赤い印の操作、光るボールの到達、黒い二体のペア成立に合わせて音を重ねます。それぞれの音は、その時のBGMの和音に合う高さを選びます。BGMは、それぞれ約118秒の三つの変奏を順に再生し、約5分53秒で一巡します。

Brush / Rain

05 / 筆と雨で変わった絵を、次の判断へ返す

黒と青の筆は、触れた色層の顔料を移動先へ運びます。雨は水の流れと顔料の移動・にじみを計算して、絵をゆっくり変えます。エージェントの判断には、三層を重ねた現在の絵を縮小して読み取った色の濃さを使います。赤い印には進路をそらす作用も加え、中心へ向かうエージェントが迂回・反転するようにしています。

動き・描画・操作・音をつなぐ工夫

同じ状態を、異なる大きさで表示する

三層のエージェントと痕跡は、ひと組のデータとして計算しています。その同じデータを大きさを変えて描くので、ある場所の痕跡が変わると、その場所が現れる縮尺ごとに表示も変わります。鑑賞者が置いた赤い印も、同じ地図に記録されます。

描いた痕跡を、次の動きの計算に使う

エージェントが残した色の重なりを読み取り、周囲の濃さを数値にします。エージェントはその値に応じて進路や速さを変え、変わった進路に新たな痕跡を残します。見えている模様と、動きを決める環境を同じ痕跡からつくっています。

操作を、環境の変化として記録する

クリックした画面の位置を地図の座標に変換し、赤い痕跡を描きます。同時に、印の周囲にいるエージェントを印から遠ざける流れをつくります。エージェントが進路を変えると、その先にも痕跡が残ります。鑑賞者の操作は、その後も動きに関わる環境の一部になります。

出来事の音を、BGMの和音に合わせる

操作やエージェントの接近で鳴る音は、複数の高さで用意しています。プログラムはBGMの再生位置を調べ、その時の和音に合う高さを選びます。音楽が繰り返してもシミュレーションは進み続けるので、同じBGMに重なる出来事の音は、その時の作品の状態によって変わります。

AIとの対話を通じた制作

作者は、作品の構想や画面の構成についてAIと対話しました。AIに空間の構造を数式やコードで表す案をつくらせ、ブラウザで動かして確かめました。結果を見て、求める動きや見た目、考えたい問いを練り直し、再びAIにコードの作成や修正を依頼しました。AIはコードの作成に加え、構想への意見や別案を出す役割も担いました。

01作者が問いや意図を伝える
02AIと検討し、コードをつくる
03作者が動きを確かめる
04作者が次の問いや判断を変える

制作を振り返るなかで、作者は作品と制作過程の共通点に気づきました。作品では、エージェントの過去の行動が痕跡として残り、その後の行動に影響します。制作では、AIが作ったプログラムを動かした結果が、作者の次の意図や判断を変えました。どちらも、前の行動の結果が次の行動に関わっています。

AI音楽生成モデルのACE-Step 1.5で音源を作り、Pythonで編集しました。使うフレーズを組み合わせ、調を変え、繰り返し再生できる形にしています。鑑賞者の操作やエージェント同士の接近で鳴らす音も、BGMに重ねられるように用意しました。

楽曲に込めた意図

画面に痕跡が残るように、音にも余韻を残し、次の音と重なるようにしました。前の出来事が次の出来事に関わる感覚を、音でも表すためです。穏やかに鳴り始める音と、少しずつ変わる旋律や伴奏の重なりで、長く聴いていられる神秘的な雰囲気を目指しました。

紹介動画の音楽は、映像の展開とナレーションに合わせて編曲しました。アプリでは鑑賞者が滞在する時間を自由に選べるため、BGMを繰り返し再生する構成にしています。

音を少しずつ高くし、低い音域へ戻して繰り返す

『ゲーデル、エッシャー、バッハ』で紹介される、バッハ《音楽の捧げもの》のカノンから着想を得ました。このカノンは、繰り返すたびに全音、つまり二半音ずつ高くなります。本作のBGMでも、約18秒ごとに旋律と伴奏の両方を全音ずつ上げています。一オクターブ上まで進んだところで低い音域へ滑らかにつなぎ、再び繰り返します。音楽が戻っても、エージェントは動き続け、画面には新たな痕跡が残ります。

バッハのカノンの解説・演奏 ↗

三つの変奏の構成

Aでは、もとの曲の旋律と伴奏を中心にしています。Bでは同じ曲の別の箇所から選んだ短いフレーズを六つ、Cでは長いフレーズを三つ加えました。主旋律に別のフレーズが応えるように重ね、変奏ごとに目立って聴こえる部分を変えています。

音楽はA「主題」、B「応答」、C「重なり」の三つの編曲を順に再生します。

操作やエージェントの接近に合わせて鳴る音

赤い印を置く操作、光るボールがエージェントに届く瞬間、黒い二体がペアになる瞬間に、それぞれ異なる音を鳴らします。音の高さはBGMの和音に合わせ、余韻が次の音と重なるようにしています。こうした音で、画面で起きた変化に気づけるようにすることも意図しています。

空間の構造と痕跡の役割を変更した経緯

制作初期の三段階。四体が順に影響する構造、三層を内側に重ねた画面、色の痕跡を加えた画面。
制作初期の画面。左は四体が順に影響する構造、中央は三層を内側に重ねた画面、右は色の痕跡を描き重ねた画面です。

最初の案では、大きな枠の内側に小さな枠を置き、四体のエージェントが順に影響する構造にしました。ただし、最も内側から外側へ戻る影響だけ、伝わる方向が逆になっていました。作者はすべての影響が同じ方向に進んで戻る形を求め、三層の構造に変更しました。さらに、世界の縮小コピーを重ねる段階を経て、同じ世界の端同士をつなぐ現在の空間をつくりました。

初期の足跡は、エージェントが通った場所を表示するために使っていました。作者がその見た目を単調に感じたことから、色の痕跡を環境として蓄積し、その後のエージェントの動きの計算にも使うようにしました。この変更によって、過去の行動が次の行動へ影響する仕組みが加わりました。

NeurIPSでの採択

NeurIPS 2026 Creative AI Trackへの採択

NeurIPS 2026
Creative AI Track
Artwork区分で採択

NeurIPSは、機械学習とAIの研究者が集まる国際会議です。Creative AI Trackは、AIと芸術・デザイン・創作の関係を扱う部門です。2026年のテーマは「Agency(主体性)」です。

本作では、目標に向けて行動し、周囲の状況や行動の結果から次の行動を選ぶ働きを「主体性」として捉えています。作品内のエージェント、操作する鑑賞者、AIと制作する作者を通じて、この働きを考えます。

作品と「主体性」というテーマの関係

作品では、エージェントが残した痕跡や鑑賞者が置いた印によって、その後の進路や速さが変わります。制作では、作者がAIに要望を伝え、AIが作ったコードを動かした結果を見て次の変更を決めました。自分の行動の結果を見て次の行動を変える、という関係を、作品と制作過程の両方で扱っています。

採択によって、この作品をAIの研究者や創作者に紹介し、意見を交わす機会が得られます。人がAIに指示を出し、その出力を見て次の指示や判断を変える過程にも、作品と共通する関係があります。本作を通じて、人とAIが互いにどう影響するかを考えてもらうことを目指しています。

会場での紹介と作品説明の公開

本作はCreative AI TrackのArtwork区分で採択されました。公式募集要項には、採択作品を会場の大型画面で紹介し、作者と研究者が交流する機会を設けると記されています。作品と説明文はOpenReviewで公開・保存されます。

作家

石井遼介

ZENTech/日本認知科学研究所/武蔵野大学

小田菜月

早稲田大学/ソフトバンク株式会社

ブラウザで作品を体験する

赤い印を置く、エージェントを追跡する、音を聴くなど、自由に操作しながら鑑賞できます。

作品を開く