作品はHTML・CSS・JavaScriptで制作し、ブラウザで動くようにしました。プログラムはエージェントの周囲の状態を調べ、次に動く方向と速さを計算します。動いた場所に色を描き、その色の濃さを次の計算に使います。鑑賞者が置いた赤い印も計算に加え、動きと描画をリアルタイムに更新しています。
JavaScript
01 / エージェントの動きを計算する
エージェントの行動規則をJavaScriptで書きました。周囲の痕跡の濃さ、他のエージェントとの距離や向き、赤い印から受ける影響を使って、進む方向と速さを計算します。環境の状態は、空間を格子状に区切った数値データとして保存し、エージェントが動くたびに更新します。
Canvas 2D
02 / 色の痕跡を次の動きの計算に使う
Canvas 2Dで、エージェントが通った場所に色を描き重ねます。描いた色がどの程度重なっているかを、不透明度から読み取ります。その値を格子状のデータに記録し、エージェントの進路や速さを計算する際に使います。
WebGL
03 / 角度と距離の地図から、円環を描く
エージェントや痕跡の位置は、横に角度、縦に中心からの距離の対数を並べた四角い地図で管理しています。左右の端と上下の端をそれぞれつなぎ、端を越えると反対側へ続くようにしました。WebGLでこの地図を円環状に表示すると、同じ三層が大きさを変えて中心へ繰り返し現れます。
四角い地図、トーラス、円環の対応を見比べる
図の赤い点Pは、対応する位置を示す目印です。スライダーやアニメーションで点Pを動かすと、三つの図で位置の対応を確かめられます。トーラスは端のつながりを示す立体図、円環は同じ地図を作品の画面へ変換した図です。
計算用の四角い地図
端のつながりを立体で示す → トーラス
角度と距離で画面に描く → 円環表示
1. 位置を記録する地図
横軸は、中心の周りの角度です。0度と360度は同じ方向なので、左右の端がつながります。縦軸は中心からの距離を対数で表します。上が外側のA、中央がB、下が内側のCです。2. 端のつながりを立体で示す
四角の左右をつなぐと筒になり、その筒の両端もつなぐとドーナツ形になります。これがトーラスです。「地図をつなぐ形」のスライダーで、平面から筒、トーラスへの変化を見られます。3. 同じ地図を円環に変換する
地図の横位置を円の周りの角度に、縦位置を中心からの距離に変換します。Cのさらに内側には、小さなAが続きます。同じ地図が続くため、点Pも異なる大きさの場所に繰り返し現れます。
横:角度θ 縦:距離の対数u。上へ行くほど中心から遠くなります。
「円の周りを回る」では、地図の横方向を端から端まで進む間に、円環で円を一周します。地図の端を越えると反対側から続きます。「中心へ進む」では、地図をA→B→C→Aと進み、円環ではさらに小さなAへ続きます。アニメーションを再生するか、「点Pを動かす」のスライダーで位置を変えられます。
点Pは空間をたどるための目印です。作品のエージェントは各層の中で動き、光るボールによる影響がA→B→C→Aの順に伝わります。
同じ倍率で変わる距離を、等間隔で表す
ふつうの距離の目盛りなら、1→2→3→4と同じ量ずつ増えます。対数の目盛りでは、たとえば1→2→4→8と同じ倍率ずつ増える距離を等間隔に並べます。本作では三層を一周する倍率が4.2です。中心からの距離が4.2倍、または4.2分の1になると、同じ地図の位置が再び現れます。
同じ1・2・4・8を比べています。ふつうの目盛りでは間隔が広がり、対数の目盛りでは倍率が同じなので等間隔になります。
Web Audio
04 / BGMと出来事に応じた音を再生する
Web AudioでBGMを再生し、赤い印の操作、光るボールの到達、黒い二体のペア成立に合わせて音を重ねます。それぞれの音は、その時のBGMの和音に合う高さを選びます。BGMは、それぞれ約118秒の三つの変奏を順に再生し、約5分53秒で一巡します。
Brush / Rain
05 / 筆と雨で変わった絵を、次の判断へ返す
黒と青の筆は、触れた色層の顔料を移動先へ運びます。雨は水の流れと顔料の移動・にじみを計算して、絵をゆっくり変えます。エージェントの判断には、三層を重ねた現在の絵を縮小して読み取った色の濃さを使います。赤い印には進路をそらす作用も加え、中心へ向かうエージェントが迂回・反転するようにしています。
動き・描画・操作・音をつなぐ工夫
同じ状態を、異なる大きさで表示する
三層のエージェントと痕跡は、ひと組のデータとして計算しています。その同じデータを大きさを変えて描くので、ある場所の痕跡が変わると、その場所が現れる縮尺ごとに表示も変わります。鑑賞者が置いた赤い印も、同じ地図に記録されます。
描いた痕跡を、次の動きの計算に使う
エージェントが残した色の重なりを読み取り、周囲の濃さを数値にします。エージェントはその値に応じて進路や速さを変え、変わった進路に新たな痕跡を残します。見えている模様と、動きを決める環境を同じ痕跡からつくっています。
操作を、環境の変化として記録する
クリックした画面の位置を地図の座標に変換し、赤い痕跡を描きます。同時に、印の周囲にいるエージェントを印から遠ざける流れをつくります。エージェントが進路を変えると、その先にも痕跡が残ります。鑑賞者の操作は、その後も動きに関わる環境の一部になります。
出来事の音を、BGMの和音に合わせる
操作やエージェントの接近で鳴る音は、複数の高さで用意しています。プログラムはBGMの再生位置を調べ、その時の和音に合う高さを選びます。音楽が繰り返してもシミュレーションは進み続けるので、同じBGMに重なる出来事の音は、その時の作品の状態によって変わります。
AIとの対話を通じた制作
作者は、作品の構想や画面の構成についてAIと対話しました。AIに空間の構造を数式やコードで表す案をつくらせ、ブラウザで動かして確かめました。結果を見て、求める動きや見た目、考えたい問いを練り直し、再びAIにコードの作成や修正を依頼しました。AIはコードの作成に加え、構想への意見や別案を出す役割も担いました。
01作者が問いや意図を伝える
02AIと検討し、コードをつくる
03作者が動きを確かめる
04作者が次の問いや判断を変える
制作を振り返るなかで、作者は作品と制作過程の共通点に気づきました。作品では、エージェントの過去の行動が痕跡として残り、その後の行動に影響します。制作では、AIが作ったプログラムを動かした結果が、作者の次の意図や判断を変えました。どちらも、前の行動の結果が次の行動に関わっています。
AI音楽生成モデルのACE-Step 1.5で音源を作り、Pythonで編集しました。使うフレーズを組み合わせ、調を変え、繰り返し再生できる形にしています。鑑賞者の操作やエージェント同士の接近で鳴らす音も、BGMに重ねられるように用意しました。
楽曲に込めた意図
画面に痕跡が残るように、音にも余韻を残し、次の音と重なるようにしました。前の出来事が次の出来事に関わる感覚を、音でも表すためです。穏やかに鳴り始める音と、少しずつ変わる旋律や伴奏の重なりで、長く聴いていられる神秘的な雰囲気を目指しました。
紹介動画の音楽は、映像の展開とナレーションに合わせて編曲しました。アプリでは鑑賞者が滞在する時間を自由に選べるため、BGMを繰り返し再生する構成にしています。
音を少しずつ高くし、低い音域へ戻して繰り返す
『ゲーデル、エッシャー、バッハ』で紹介される、バッハ《音楽の捧げもの》のカノンから着想を得ました。このカノンは、繰り返すたびに全音、つまり二半音ずつ高くなります。本作のBGMでも、約18秒ごとに旋律と伴奏の両方を全音ずつ上げています。一オクターブ上まで進んだところで低い音域へ滑らかにつなぎ、再び繰り返します。音楽が戻っても、エージェントは動き続け、画面には新たな痕跡が残ります。
バッハのカノンの解説・演奏 ↗
三つの変奏の構成
Aでは、もとの曲の旋律と伴奏を中心にしています。Bでは同じ曲の別の箇所から選んだ短いフレーズを六つ、Cでは長いフレーズを三つ加えました。主旋律に別のフレーズが応えるように重ね、変奏ごとに目立って聴こえる部分を変えています。
音楽はA「主題」、B「応答」、C「重なり」の三つの編曲を順に再生します。
操作やエージェントの接近に合わせて鳴る音
赤い印を置く操作、光るボールがエージェントに届く瞬間、黒い二体がペアになる瞬間に、それぞれ異なる音を鳴らします。音の高さはBGMの和音に合わせ、余韻が次の音と重なるようにしています。こうした音で、画面で起きた変化に気づけるようにすることも意図しています。
空間の構造と痕跡の役割を変更した経緯
制作初期の画面。左は四体が順に影響する構造、中央は三層を内側に重ねた画面、右は色の痕跡を描き重ねた画面です。最初の案では、大きな枠の内側に小さな枠を置き、四体のエージェントが順に影響する構造にしました。ただし、最も内側から外側へ戻る影響だけ、伝わる方向が逆になっていました。作者はすべての影響が同じ方向に進んで戻る形を求め、三層の構造に変更しました。さらに、世界の縮小コピーを重ねる段階を経て、同じ世界の端同士をつなぐ現在の空間をつくりました。
初期の足跡は、エージェントが通った場所を表示するために使っていました。作者がその見た目を単調に感じたことから、色の痕跡を環境として蓄積し、その後のエージェントの動きの計算にも使うようにしました。この変更によって、過去の行動が次の行動へ影響する仕組みが加わりました。