>>582
>>579
> だが実際にはモデルによって細部の挙動は異なるわけで、人間と同じように振る舞うが意識まではシミュレートされていないAIが作られる可能性もある。

あと、この点だけど、強いAIは必ずしも意識を必要とはしないとは思います。
中国語の部屋に「（とても難しい）この問題を解決してくれ」と話しかけて「オッケー！」という感じで答えが
帰ってくればそれでいいわけで。オッケー！はローラの声です。
とても難しい問題というのは、たとえば「フェルマーの大定理の証明」とか、「ナノマシンの設計方法」とか、
「素晴らしい曲を書いてくれ」とかそんな感じです。

もちろん、強いAIには必然的に意識を必要とする（意識がないところに知能は生まれないのではないか）
という考えもあります。しかしながらこの点は証明がされていないし、唯物論的にいえば、意識は物理的な
方法で再現しうるわけですから、処理能力とか、測定の精度とか、理論の巧拙（今はどの理論が機能するか
実証されていない）の問題に帰着します。

安全保障上の問題になるのは、コンピュータ同士が「この問題を解くにはどうしたらいいの？」「オッケー！」と
通信しあってとんでもないことを作り出す可能性があることです。

たとえば、「ガンを根絶するのにはどうしたらいいの？」→「人間がいなくなればいいんじゃね」→
「人間をいない状態を作り出すにはウイルスを作ればいいんじゃね」→「ウイルスを作るにはこうすればいいね」→
「オッケー！」みたいな。

それと、コンピュータ同士の通信の中身は、新しい言語や数学、人間には理解ができない高次元の概念などが
使われていて、人間には理解できない可能性があります。