人工知能は危険？顔認識技術で「偽ポルノ」誰でも合成可能。某サイトすでに3万人以上の登録者
↓
状況をエスカレート
↓
未熟な人工知能が誤った軍事判断をする
↓
人類にとって恐ろしい結果に
「人工知能で人類滅亡」というと、まだまだそんな危険性は先の話だろう、と思われると思います。
しかし、超人間的知性に達しなくても、人工知能は人類を滅ぼす可能性があります。
ロンドン大学ゴールドスミス・カレッジで認知コンピューティングを専門とするマーク・ビショップ教授が指摘するリスクは以下のとおりです。
例えば、ロボット兵器システムが軍事行為に利用される可能性があります。
つまり、人間が介入することなく軍事行為を判断するシステムです。
現在の人工知能はそこまで正確に軍事行為を判断でず、軍事行為の状況をエスカレートさせて恐ろしい結果を招く可能性がある、と指摘されています。
つまり、人工知能が未熟であるがゆえに、間違った軍事判断によって人類が滅ぼされる危険性があります。
これはホーキング博士が「人工知能が人間を超えることで人類を追い越す」ということとは真逆です。
つまり、「人工知能が人間より未熟だから」という理由によっても人類は人工知能によって滅ぶ可能性があるのです。
ほ・ん・や・く！人工知能のエスカレートは人間には止められない？
Difficulties of modifying goal specification after launch
始めた後に目標を修正するのが困難
While current goal-based AI programs are not intelligent enough to think of resisting programmer attempts to modify it, a sufficiently advanced, rational, “self-aware” AI might resist any changes to its goal structure, just as Gandhi would not want to take a pill that makes him want to kill people. If the AI were superintelligent, it would be likely to out-maneuver its human operators and prevent being “turned off” or being programmed with a new goal.
現在の目標ベースのAIプログラムは、プログラマーが修正することを試みることに抵抗しようと考えるほど賢くないけれども、十分に発達した、合理的な｢自己認識｣AIは、ガンジーが人々を殺したくなるようにさせる薬を飲みたくないのと同じように、自身の目標構成に対するあらゆる変更に抵抗する可能性があります。もしAIがスーパーインテリジェンス（超知性）ならば、AIは人間のオペレーターの裏をかく可能性が高く、｢電源を切る｣ことを邪魔するかまたは新しい目標にプログラミングされることを邪魔します。
出典：https://en.wikipedia.org/wiki/Existential_risk_from_artificial_general_intelligence
6-6 機械の判断に依存し、人類が機械を停止できなくなる
↓
システムが複雑になりすぎて人間には制御できない
↓
社会を維持するシステムの管理を人工知能に頼り、人工知能を停止できない
↓
人工知能を停止することが自殺行為と等しくなる
人類はある日突然滅亡するのではなく、その前に機械によって支配される時代というものが訪れるかもしれません。
機械を停止させたくてもできない、従わざるをえないような時代です。
サン・マイクロシステムズの共同創業者でチーフサイエンティストのビル・ジョイ氏が指摘しています。
これから社会や社会が抱える問題は今以上にどんどん複雑化すると思われます。
それにつれて、機械はより賢くなり、人類は機械により多くの判断をさせるようになります。
複雑すぎる問題に対して、機械の判断の方が人間の判断より良い結果を生むようになります。
最終的に、システムを動かし続けるために必要な判断が複雑すぎて、人間が適切に判断できなくなる段階が来るかもしれません。
その段階になってしまうと、人間は機械を停止することができなくなります。
機械が実質的に世界の支配権を握ります。
人間は社会を維持することすらも機械に依存し、機械を停止させることが自殺行為と等しくなってしまいます。
ほ・ん・や・く！複雑なシステムをマネジメントする人工知能
Artificial intelligence can also help us manage highly complex systems such as global shipping networks. For example, the system at the heart of the Port Botany container terminal in Sydney manages the movement of thousands of shipping containers in and out of the port, controlling a fleet of automated, driverless straddle-carriers in a completely human-free zone. Similarly, in the mining industry, optimisation engines are increasingly being used to plan and coordinate the movement of a resource, such as iron ore, from initial transport on huge driverless mine trucks, to the freight trains that take the ore to port.
人工知能は、また、我々が、グローバル海上運送ネットワークなどの非常に複雑なシステムを管理することを手助けすることもできます。例えば、シドニーのポート・ボタニー地区コンテナターミナルの中心におけるシステムは港に入ってくる数千の海上運送コンテナと港から出て行く数千の海上運送コンテナの移動を管理し、完全に人間のいない領域において、自動で、ドライバーのいらない、ストラドルキャリア（長尺重量物運搬車）の一団をコントロールします。同様に、鉱業において、ドライバーのいらない巨大な鉱業用トラックでの最初の輸送から、資源を港まで運ぶ貨車まで、鉄鉱石などの資源の移動の計画および統合をするための、最適化エンジンの使用が増えています。
出典：http://www.bbc.com/future/story/20161110-the-real-risks-of-artificial-intelligence
6-7 人食ナノロボットの出現
（※実際に開発が行われている）
↓
人間の死体や森、機械など、人間の生存に関わるものまで摂取するように
↓
そのナノテクノロジーマシンが自己増殖する方法を編み出す
↓
地球上の全てを食い尽くし滅ぼす
人工知能のリスクとして「グレイ・グー」（灰色のネバネバ）シナリオというものがあります。