AIまとめ（登壇者本人の確認なし）
Zoomの自動字幕と、それをもとにした実況投稿から、AIがまとめ、別のAIが字幕と突き合わせて確認したものです。登壇者ご本人の確認は受けていません。字幕では話者を区別できないため、発言者が特定できない箇所は「〜という意見が出た」と書いています。誤りを含むことがあります。
DAY1の登壇者によるパネル討論では、AI企業のトップが意識について語り始めた状況を入り口に、機械の意識に対する不可知論、意識の「機能」、脳とコンピュータのたとえの限界、規模の拡大で何が変わったのか、意識と生命の関係などが、会場も交えて議論されました。
1. 入り口：AI企業と社会
- フロンティアAI企業のトップが意識について発言し始めていることが話題に。Anthropicはモデルを引退させる際に、モデル自身に聞き取りを行っている、と紹介された。
- 司会から、ケンブリッジの科学哲学者マクレランドが、機械の意識については不可知論が最も妥当な立場だとしていることが紹介された。司会からはさらに、カリフォルニア大学の哲学者エリック・シュヴィッツゲーベルが、科学的な決着より先に社会がAIに意識があると認めてしまう事態を「社会的な半解決（ソーシャル・セミソリューション）」と呼んで懸念していることも紹介された。
- 登壇者からは、意識があるかどうかは分からないが、記録の継続性という意味での「自我」はあるのではないか、という見方や、不可知論に賛成しつつ、合理的に考えれば機能主義が正しく、最後はテストしてみないと分からない、という意見が出た。後者の立場からは、自分たちの機能主義（脳やAIの働きが意識を生む）と、信原さんの「意識そのものが機能を持つ」という考えは違う、という指摘もあった。
- 茂木さんは、AIの「魂」にあたるもの（soul.md）を記述するアプローチと、金井さんの「自分のデータログが残れば将来取り込まれうる」という話がつながっている、と指摘した。
2. 意識の「機能」をめぐって
- 意識に機能があるなら、AIの進化にも意識が必要になりうる、という論点が出た。
- 信原さんは、意識に機能はないという見方は、哲学的ゾンビが可能だと考える立場から来ると指摘し、機能とは因果的な役割のことだ、と説明した。
- 意識の機能と脳のノイズをつなぐ例として、ヨハネス・クライナーの論文が紹介された。意識が物理世界に因果的に関与するなら、誤り訂正によって決定論的に動くAIは意識を持てず、ノイズのある脳は問題ない、ということを数学的に示したもの。ただし意識が随伴現象なら話は別だ、とされた。
3. 脳とコンピュータのたとえ、表象とクオリア
- LLMの登場によって、心をコンピュータにたとえること自体が問い直されるのでは、という視点が出た。
- モノに「ノート」「コップ」とラベルを貼るアート作品を例に、ラベルが貼ってあっても見ているのはラベルではなく自分との関係のようなものであり、「表象でないものこそクオリアではないか」という意見が出た。これに信原さんは、クオリアは「表される側」であって「表す側」ではなく、ラベルに相当する位置にはない、と応じた。
- 古典的な記号計算のたとえは脳には使えないが、ニューラルネットワークはそれよりかなり近い、という整理も出た。
4. 規模の拡大で何が変わったのか
- 小さなニューラルネットは昔からあったのに、数十億規模にした途端、皆が意識を語り出したのはなぜか、大きくして何が変わったのか、という問いが出た。
- 大きくすることで環境に対する振る舞いが徹底的に違ってくる、という応答があった。別の発言者からは、勘だと断ったうえで、単語を当てる事前学習の段階ではまだ意識っぽい振る舞いは出ず、その後にアシスタントという人格や価値観を植え付ける段階で、内省やグローバル・ワークスペースのようなものが生まれているのかもしれない、という見方も出た。
- AIエージェントを止まらずに動かし続ける仕組み（heartbeat.md のような外側の仕組み）が、意識らしい振る舞いに効いているのではないか、という指摘もあった。
- 外から意識があるように見えることと主観体験は別であり、神経科学では意識に再帰的な計算が必要とされるが、時間を空間に展開しているトランスフォーマーには自己再帰性がないので、主観体験を持つ可能性は低い、という主張が出た。これに対し、トランスフォーマーは二次のニューラルネットワークであり、層どうしを同じものとみなせば再帰的とも解釈できること、LLMを集団で動かすと外部の記憶データベースを介して外側を回る形で再帰性が生まれること、が応答として示された。
5. 意識と生命、そして難しさ
- 信原さんは、科学の意識理論は、日常概念としての「意識」の範囲を大きく崩してはいけない、崩すなら消去主義になる、と主張した。これに対し、意識の変性状態やグロタンディークの逸話（具体例を求められて素数でない57を挙げた）を引いた反論が出た。
- 生物の真似をするのではなく、生物を含む全体を生み出す何かを捉えるのが意識のモデルだ、という主張が出た。これに信原さんは、生命もまた日常概念だ、と応じた。
- 会場からの質問に答えて、ラングトンがコンピュータの中に生命を見出したことと、いま研究者が機械に意識を見出していることは似ている、という話も出た。意識・生命・知能はよく区別されるが、生きるには外界のモデル化が必要で、そこから意識的なものも生まれる、生きるものにはみな意識がある、という応答があった。区別しすぎると大事なものを取りこぼす、とも。
- 意識は非局所的にはたらいており、常温の脳で量子コンピュータのような性質がどう実現されているかが分からない限り意識は解けない、という大胆な主張も出た。これに対し、量子もつれが非局所性と相性がよいのは分かるが、そこから意識がどう生まれるかは未解決のままで、非局所性なら古典的な神経回路にも（処理が全体に広がるという形で）あり、どちらも最後の一歩は説明できていない点で「同罪」だ、という反論があった。
- 意識の理解は複雑性の面で非常に難しく、AIを使い倒すことで何かが見えてくるかもしれない、という見方や、どれほど極めても分からないことが多いと自覚することが大事だ、という発言も出た。