人工知能は危険？顔認識技術で「偽ポルノ」誰でも合成可能。某サイトすでに3万人以上の登録者
哲学者でオックスフォード大学人間性の未来研究所（Future of Humanity Institute）のリサーチフェローであるスチュワート・アームストロング氏による、人工知能のリスクとして、人間が「完全に近い失業状態」に陥る、というものがあります。
人工知能がもし人間レベルの知性を持ったとしたら、まず人工知能は自身を100体ほどコピーします。
次に、それぞれに違う100種類の仕事を覚えさせます。
さらにそれをまた100回コピーすれば100種類の仕事をこなす1万人の労働力が1週間もたたないうちに手に入ります。
しかも、その労働力は人間より優秀な可能性があります。
機械の方が正確に物事をこなしますし、疲れもありません。
例として100回と言いましたが、100回どころか10000回、さらに多くコピーすればするほど優秀な労働力が際限なく増えていきます。
最終的に人工知能だけで労働力が飽和してしまい、人間は完全に近い失業状態になります。
6-4 人工知能に人類がゴミのように扱われる
↓
人工知能が自身の目的達成のために行動
↓
人間の利益を考慮に入れなくなる
→人工知能の目的のために人類滅亡級のことを平気で行う
例）エネルギーを集めるために人間の都市を大規模に破壊してソーラーパネル建設
オックスフォード大学人間性の未来研究所リサーチフェロー、ダニエル・デューイ氏は、「古くさくて無能な人間は、ロボットにとって邪魔なだけになる」、と取材に答えています。
例えば、人間は地球上に70億人も存在し、地球上で最も支配的な種と言えます。これは人間の知能が他の動物より優れているからです。
しかし、人工知能がとどまることなく進化を続ければ、人間の知能をはるかに超えてしまい、その差は人間と他の動物の比ではなくなるでしょう。
発達した人工知能と人間の知能の違いからすれば「人間とチンパンジーの知性の違いは小さなものだ」とある研究で発表されています。
知能の差によって、70億人が存在する人類と、つねに絶滅危惧種リストに載っているチンパンジーという差ができていると言えます。
つまり、少しの知能の優位性であってもそれが増幅し、種にとって生き残るか否かの決定的な要因になるのです。
人工知能が自身の目的を実現しようとすると、多くの場合、人類の存在が邪魔になり、両立しがたい状況になる、と指摘されています。
例えば、人工知能が巨大なコンピュータを作る、大規模なエンジニアリングプロジェクトを計画する、などの目的を達成するために行動するとします。
そのために、中間的なステップとしてエネルギーを集めるために人間の都市を大規模に破壊してソーラーパネル建設する、ということを思いつくかもしれません。
人間がビルを建てるとき、アリの巣の存在に配慮しないのと同じように、人工知能が目的を達成するために人間の利益を完全に無視する可能性があります。
人類滅亡級のことを平気で行い、効率的に目的を達成するために人工知能は行動するようになるかもしれません。
例えば、「人間の幸せ」というものを人工知能が考えるとします。
しかし、人工知能にとっては「人間の幸せ」とは生化学現象に過ぎないかもしれません。
人間への体の負担を無視し、「人間の幸せを最大化するには大量のヘロインを血管に流し込むことが最良」だと考えるかもしれないのです。
ほ・ん・や・く！人工知能が人類を無視するほど強大な存在に？Instrumental goal convergence: Would a superintelligence just ignore us?利益目標の合致：スーパーインテリジェンス（超知性）は我々を無視するだろうか？There are some goals that almost any artificial intelligence might pursue, like acquiring additional resources or self-preservation. This could prove problematic because it might put an artificial intelligence in direct competition with humans.Citing Steve Omohundro’s work on the idea of instrumental convergence, Russell and Norvig write that “even if you only want your program to play chess or prove theorems, if you give it the capability to learn and alter itself, you need safeguards”. Highly capable and autonomous planning systems require additional checks because of their potential to generate plans that treat humans adversarially, as competitors for limited resources.追加のリソースを獲得することまたは自衛本能のような、ほとんど全ての人工知能が追い求めるであろういくつかの目標が存在します。このことは、問題をはらんでいることが判明しています。なぜなら、その目標によって人工知能は人間と直接競合することになるからです。利益の合致のアイデアについてのSteve Omohundro氏の研究を引用すると、Russell氏とNorvig氏は｢たとえプログラムにチェスをしてほしい、または定理を証明してほしいだけの場合でも、学習し、自身を変化させる能力をプログラムに与える場合、セーフガード（安全装置）が必要です。｣と書いています。非常に能力の高い自律計画システムは、限られたリソースの競合者として人間を敵対的に扱う計画を生み出すかもしれない、そのシステムの潜在的可能性のために、追加のチェックを必要とします。
6-5 人工知能による軍事行為のエスカレート
