AIの限界と哲学
【――】 知能の本質は演繹的な推論だという考えが人工知能研究の根本にあって、それゆえに限界に行き当たってしまったというお話しがさきほどありました。これは、人間の知能の本質はむしろ別の所にあるのだというドレイファスらの指摘とも関連してくるように思われます。
【西垣】 そうそう、おっしゃるとおり。アメリカでは、第2次ブームの頃、AI研究に対して非常に強い批判がなされていた。彼らは、ハイデガーとかフッサールといったような大陸系哲学の専門家で、コンピュータには身体性というものがない、意味を踏まえた知能は身体性をもとに出てくるんだ、などと論じていた。サールのいう中国語の部屋なんかもその具体例です。コンピュータは翻訳ができても、記号間のシンタックスをいじっているだけで、セマンティクス、つまり意味を理解しているわけじゃない、意味をちゃんと理解してないのに翻訳なんてできるのか、というような批判をしていたわけですね。
それに対して、分析哲学や記号論理学の専門家もいて、彼らは、いや、論理学的な処理の延長上である程度いけるんじゃないかと反論したわけです。そして、モンタギュー文法とか、様相論理とか、状況意味論とかが出現した。いわゆる論理学というのは、命題論理と述語論理を合わせた記号論理学がベースですけど、それをもっと細かく発展させた論理学ですね。細かい話は省略しますが、いわゆる論理をもっと細かく精密にすることによって、それなりに意味というものに肉薄できるんじゃないかという発想でした。
そんな理論的工夫をしても、具体的にとくべき応用問題として何が出てきたのか。代表例がフレーム問題と記号接地問題 (Symbol Grounding Problem) です。あの2つの問題はともに、ドレイファスとかサールから見れば、彼らの指摘していた問題の一部にすぎないと僕は思う。だけど、ドレイファスとかサールの言うことは、エンジニアやコンピュータサイエンティストにとっては難しすぎて分からない。そこで具体的に何がだめなんだといったときに、フレーム問題とか記号接地問題が出てきたわけです。フレーム問題も、記号接地問題も、今なお解決されてない。これが僕の主張なんですね。
ここで僕がどうしても言いたいことが1つあります。それはテリー・ウィノグラードという学者の発言についてです。ウィノグラードという人は、1960年代の終わり頃、MITでSHRDLUという自然言語理解プログラムをつくった。これは、ものすごく有名になった。画像の中にいるロボットが、人間の指令にしたがって積み木を扱うんですが、すごくよくできた自然言語処理プログラムです。ローカルな世界だけど、ロボットはちゃんと言語を理解して、言われたとおりに積み木を操作する。彼は人工知能研究のエースだったわけです。
ところが、そのエースが80年代半ばに『コンピュータと認知を理解する』（産業図書）という有名な本を書いて、自分がやっていたことは100％間違いだったと断言した。その中で彼は、ハイデガーの実存哲学とか、生物学者のマトゥラーナやバレラのオートポイエーシス理論なんかを引用しながら自分の議論を展開した。半分は哲学、半分は工学のすばらしい本です。でも僕は、あの本はAI研究者には十分に理解されていないと思います。日本においても、アメリカにおいても。
その後、彼は、一種のグループウエアであるコーディネータというシステムをつくりました。僕が編集した『思想としてのパソコン』（NTT出版、1997年）という本の中で、ウィノグラードの書いたコーディネータの論文を僕が訳しています。人間とコンピュータはいかに協力して働くべきか、コンピュータというのはこういう役割をすればいいんだ、といったことを書いて、さらに彼は実際、そういうものをつくったわけです。すごいですよ。
でも、AI研究者にとっては、ウィノグラードさんは昔はAI研究をやっていたけど、いまはグループウエアの研究をやっているんだ、というふうにしか見られてないわけです。彼がどうしてグループウエアの研究に行ったのか、何を批判しているのかということがちゃんと受けとめられていない。これはとても悲しいことです。
ウィノグラードさんはスタンフォード大学で教えていたということもあって、僕は非常に共感するところがある。立派な方です。AIを先端的に研究していた人が内側から批判したのに、AI研究者たちはそれを正面から受けとめなかった。日本もアメリカも、世界のどのAI研究者もちゃんと受けとめてないと僕は思います。
【――】 コーディネータの研究というのは、文字どおりの人工知能、完全に自律的で、本当に意味を理解するようなものをつくるのは無理だから、そうではない形でコンピュータを活用するにはどうしたらいいかという試みなのですね。
【西垣】 そうです。だから、人間と機械とが一種の協働をするためには、こんなふうなシステムがいいんじゃないかと。
【――】 ウィノグラードからすれば、課題設定を変えなければならないということですね。
【西垣】 そうです。変えるべきだと。そういうことを口で言うだけじゃなくて、実際つくった。だけど、コーディネータはものすごく売れたわけでもない。
【――】 道具としての、あるいは人間と協働するものとしてのコンピュータと、SF的な本当に自律的なAIというのは、現在でも必ずしも明確に線引きされていないように思われます。道具としてのコンピュータも、どんどん性能を高めていけば自律的になるというように思われているのかもしれません。
【西垣】 おそらくそうでしょうね。だから、コーディネータはおもしろいシステムだね、というぐらいの認識で終わってしまうわけです。
第3次AIブームとそこに潜む危険性
【西垣】 じゃあ今のAIはどうなんだ、という話になるかなと思うんですね。今の第3次AIブーム、深層学習を中心としたAIブームの可能性と限界というのは、とても大事な問題です。一般には、第3次ブームでは重点が論理処理から知覚処理（視覚や聴覚などの処理）へシフトしたんだというふうな意見があります。確かにいまのAIはパターン認識をやるわけです。だけど逆に言うと、第3次AIは工学的には、パターン認識能力が向上したというだけ、それだけなんですよ。自律性というような話は、僕から見るとまったく別の話であって。
確かにパターン認識能力が向上したというのは偉大な成果ではある。これはコンピュータにとって非常に苦手な分野だったんですね。僕が学生のころからパターン認識の研究はやられていましたけど、なかなかうまくいかなかった。それに対して、ヒントンらが2012年に深層学習で衝撃的な結果を出した。あれは、ものすごい量の計算をやっているんですね。学習の過程で、ノイズも入れている。ノイズをいろいろ入れてもうまくパターンを分類できるようにする、という考え方です。その背景にはやはりコンピュータの能力が非常に向上したということがあります。
深層学習というのは、要するに、統計的に答えを出すニューラルネットワークモデルです。脳の神経細胞みたいなモデルをコンピュータのなかに作り込む。普通の計算モデルだと、コンピュータの中の記号とそのあらわす対象は1対1に対応する。でも、そうではなくて、コンピュータのメモリーの中に人工的な神経細胞のようなものをいっぱい用意しておき、人工神経細胞同士の結合の強さによって対象を表現する。実はこういう手法は、コネクショニズムといって昔からあるものです。コネクショニズムは第2次ＡＩブームのころからあるし、さらに、第1次のときにもすでにマカロック・ピッツモデルというのがあるのです。けれども、現在までほとんど実用化されなかったのは、コンピュータの計算能力が低かったからです。
深層学習の利点は、パターンの特徴設計が簡単だということですが、これを可能にするのは自己符号化という技術です。これは、統計の主成分分析と同じで、分析のための変数の数を減らしていく方法ですね。変数同士はお互いに相関があるけれど、なるべく相関をなくして独立なものを選んでいくというような処理です。変数を絞っていくやり方が自己符号化なんですが、この考え方は、実は第2次ブームのころからあった。だけど、それを現実問題に応用するにはコンピュータの計算能力が不足していたし、データもなかった。それで、結局実用化されなかったんです。それを実用化したのがヒントンの成果だったわけで、第3次ブームで突如ものすごい技術が登場したというよりは、いろいろな技術の進歩でコネクショニズムによるパターン認識ができるようになったというのが実状です。
画像や音声などのパターン認識はビッグデータ処理に有効です。このあたりは、僕が2016年に出版した『ビッグデータと人工知能』（中公新書）に書きました。インターネットの中にデータがすごくいっぱいある。それを全部人間が処理していくなんてことはとてもできないので、上手に処理するにはどうすればいいかというときに、深層学習でやると結構いいんじゃないかという話になる。
僕は、第3次AIはビッグデータ処理に集中すればいいんじゃないかと思っているんです。例えばいま日本中の高速道路が劣化しはじめています。高速道路のトンネルや橋梁に大量のセンサーをつける。すると時々刻々、センサーから膨大なデータがリアルタイムで流れてきますが、それを人間がいちいち処理するなんてとても無理です。
これまでの統計処理というのは、ものすごい量のデータの中からどのようにポイントデータをとってくると全体のデータの性格を分析できるか、という推測統計だった。そうでなく、とにかく大量のデータをそのまま力で処理してしまう、というのがAIによるビッグデータ処理です。そういう意味でのAI、これは工学的には割合に有意義かもしれません。
ただ、問題はやっぱり誤りの処理なんですよ。第1次や第2次のAIブームは論理処理が中心ですが、第3次ブームのAIは統計的に処理するんですから確率的なバラツキでかならず誤りが生じる。僕は大学ではもともと統計の研究室にいたので、このへんは心配です。品質統計の応用では、社会的に有効性のない場合も結構あって、現場の統計屋さんには、それをちゃんと見極める勘が必要なんですね。だから、AIの応用範囲が広がるとしても、万能感に結びつけてはいけないと僕は思うんですね。
ところが、いまのAIは万能感を出しちゃったんです。たとえば、カーツワイルという未来学者が、第3次AIブームが起きる前に『ポスト・ヒューマン誕生』という本を書いた。分厚い本で、最初はそんなに売れなかった。それが、AIブームが起きてものすごく売れるようになった。囲碁のAIソフトが人間の名人に勝ったことも宣伝になった。カーツワイルは著書の中で、シンギュラリティ、AIが人間を超える技術的特異点が2045年に訪れると書いている。そんなことで、一般の人たちがAIにすごく期待しちゃった。一方、AIが人間の仕事を奪うという議論もでてきた。
僕のように泥臭い現場を見てきたコンピュータ屋から見ると、AIのもつ万能感に関しては強い疑問符がついちゃうんですね。例えばある対象が猫の顔だとか、そういうことを、人間にわかりにくいところで判断しちゃうわけじゃないですか。ヒントンの研究なんかでは成功したわけですけど、AIの処理がブラックボックスになりがちで、間違っていてもわかりにくい。それが問題。
AIの限界を考えるとき、誤りといっても、簡単に言うと3種類あると思うんですね。第1種は確率誤りです。統計処理をやって答えを出しているわけですから、これはどうしたって一定数は出てくるわけです。
第2種の誤りは、プログラムミス、いわゆるバグです。これはどういうことかというと、コンピュータ処理とくにソフトウェアには、製作段階でいかにがんばっても、かならずバグが紛れ込むんですね。僕が工場に行っていたときに苦しんだのは、バグのせいです。どうしてバグが紛れ込むかというと、大規模なプログラム処理というのは、負荷がかかってくると、平常では通らないパスを通るんですね。そうすると、バグが顕在化します。パスの総数は天文学的なので、全部のバグはつぶせません。バグを根絶することができないというのはソフト屋の常識です。その対策として、ソフトエンジニアリングという分野もあるんですけれども。
人間にとって、あらゆる場面を考えるということはなかなか難しいんですね。人間はフレーム問題を解決できるって言われるけれども、人間だって間違えることはいっぱいある。だから、プログラムミスというのは必ず出てくる。プログラムミスというのは、統計的な誤りとは違う話ですよね。大規模なプログラムでは、簡単な処理、例えば座席予約とか、銀行口座の出し入れとか、そういう処理でも、バグのせいで正常作動をたもつには大変な現場の苦労がある。その大変さは、大学のコンピュータの先生でもなかなかわからない。
第3種類は、サイバーテロです。これは人為的にプログラムミスを起こさせるようなことを外部からやるという話で、とんでもない事態になるわけですね。この3つが入り混じるとどうなるか。とても怖いですね。
今のはすごく現場的な懸念なんですけれども、もう少し一般的な話もあります。深層学習もそうですが、AIというのは、過去のデータをたくさん学習して精度があがっていくわけですね。ところが、環境条件は一定とはかぎりません。変わっていくわけです。そうすると、昔のデータをいつまでも引きずっていないほうがいいかもしれない。環境変化に対してどう対処するか。これは、自動運転でも心配なところです。もう昔とは状況が違うんだから新しく学習し直さなきゃいけないんだという判断をするとなると、僕は現場のITエンジニアの負荷がこれから猛烈にふえるんじゃないかと思うんです。
哲学的にAIの限界がどうのこうのというような話はもちろんある。ところが僕の言っているような現場的なことを言う人は少ないんですね。一般ユーザは、AIがやってくれるんだから正しいはずだと思うけれども、めちゃくちゃなことをやるかもしれないわけです。そのギャップは誰が埋めるのかというと、ITエンジニアしかいないわけですね。
【――】 しかも、従来型のプログラムだったら、もちろんものすごい大変な作業ですが、何とか問題を見つけて、それを直せばいいわけですが、深層学習になってしまうと、そもそもどう対処していいのか、エンジニアリング的にもよくわからないと。
【西垣】 そうなんですよ。わからなくなりがちなんです。この間、情報システム学会という学会の論文にも、そのことを書いたんですよ。
いちばん心配なのはサイバーテロです。昔は、サイバーテロは少なかった。銀行のシステムなんて、サイバーテロに対してガチッと防御していましたから。だけど、AIのシステムはオープンじゃないですか。インターネットのビッグデータを処理するのが目的ですから。そうすると、テロが起きやすくなる。それから、プログラムミスが生じる。それから、オープンだと、負荷がすごく変化することがある。そうすると、プログラムミスが多発するんですよ。
経営陣など偉い人たちは、そういう懸念の中身をあまりわかっていない。そういうことがわかるのは、せいぜいコンピュータセンターの主任さんみたいな人だったりする。僕なんかから見ると、このままAI社会に突入するのは危険千万なんですが、なぜか、みんな、あまりそのことを考えていないんですよ。