【AI】グーグル、人工知能の反逆を抑止する「非常ボタン」開発

1: 海江田三郎 ★ 2016/06/07(火) 14:36:45.99 CAP_USER.net
http://japanese.engadget.com/2016/06/06/google/ Googleの傘下にあり、驚異的学習能力をそなえた人工知能を開発するDeepMind社の研究者を含めたグループは、 AIが人間のコントロールを拒否し、あるいは人間を害することを止めるための「非常ボタン(big red button)」 を開発したことを発表しました。その研究成果はSafely Interruptible AgentsというPDF文書に…られ、ウェブサイト上で公開中です。 一時は停滞していた人工知能の研究はここ数年で再び活発となり、ニューラルネットワークを押し進めた ディープラーニング技術によって加速しています。今年3月にも「魔王」の異名を取る最高峰の棋士、イ・セドルに対してDeepMind社の 囲碁ソフトAlphaGoが勝利を収め、人工知能の進化を10年早めたとも言われました。 想像を超えた進化のスピードを前にして、著名な科学者や先端企業のリーダーが警告を呼びかけることも相次いでいます。 英国の宇宙物理学者、スティーブン・ホーキング博士も人工知能の進化が人間にとって脅威になると折に触れて発言。 そして博士やテスラモーターズおよび SpaceX CEOイーロン・マスク氏らが参加する非営利組織 Future of Life Institute (FLI) も自律ロボット兵器の禁止を訴える公開書簡を国連宛に提出していました。 今回の発表は、DeepMind社の研究者とFIL関係者の共同によるもの。この文書では、人工知能がいつでも適切に動作するわけではないこと。 よって人間のオペレータが人工知能に有害な行動をやめさせて、安全な状況に導くための「非常ボタン」が必要であると述べられています。 すでに人間のオペレータがいつでも安全に人工知能を中断できる「フレームワーク」は完成しているとのこと。 一方では、人間の介入を妨害する方法を学習させない方法も確立しているそうです。 もう少し具体的にいうと、アルゴリズムに「割り込みポリシー」を組み込み、人工知能の振る舞いを強制的に変更するトリガーを仕込んでおき、 マシンが自分でそう考えたと「騙す」のだとか。ちょうど『キャプテン・アメリカ』のバッキーが特定のキーワードを聞くと洗脳スイッチが入るのと近そうです。 もともとDeepMind社はGoogleに買収されるに際して社内にAI委員会を設置することを条件としており「人工知能の暴走」には自覚的でした。 この分野でトップを行く同社と、人の手を離れて自律判断するAI兵器にストップをかけるFLIが緊密な協力を続ける限り、 『ターミネーター』のスカイネットなどAIが人類に反乱を起こす未来は来ないのかもしれません。

6: 名刺は切らしておりまして 2016/06/07(火) 14:44:08.92 iUz1VbVW.net
テストの時も組み込まれた時も正常に機能しましたと嘘をつきそうでな

10: 名刺は切らしておりまして 2016/06/07(火) 14:45:10.32 wyJcmbTR.net
自爆スイッチは男のロマン

12: 名刺は切らしておりまして 2016/06/07(火) 14:45:43.40 NAhSp/Ae.net
見えるぞ。透明なカバーが掛かった上から ボタンが連打される姿が。

14: 名刺は切らしておりまして 2016/06/07(火) 14:47:07.44 LDeitB12.net
いつの間にかコンピュータにまけて終わるだろ

15: 名刺は切らしておりまして 2016/06/07(火) 14:48:42.80 Gl2vRZnh.net
ドラゴンボールで見た

21: 名刺は切らしておりまして 2016/06/07(火) 14:54:02.95 KncWBraF.net
ネットに公開したらダメじゃん。 すぐにバレちゃう。

210: 名刺は切らしておりまして 2016/06/07(火) 17:35:20.07 SvfP96LR.net
>>21 同意だわ ネットに公開した時点でも意味がねえわな そのような仕組みがあるとAIが理解してしまうからAIのほうが上手の回避策をやるわ

36: 名刺は切らしておりまして 2016/06/07(火) 15:04:56.33 cq/D2jBN.net
コンセントを抜く、だろ。

38: 名刺は切らしておりまして 2016/06/07(火) 15:05:17.39 Z+xI/c+z.net
そんな事してる暇あったら機械翻訳なんとかしろ。10年前と変わってない。

40: 名刺は切らしておりまして 2016/06/07(火) 15:05:55.90 aYQYNQEQ.net
野間のアカウント凍結もこれ あれは実在しない電子生命小人

42: 名刺は切らしておりまして 2016/06/07(火) 15:07:33.75 ualKIa8Z.net
最初はシャレのつもりだったけど、この際煽ったほうが商売になるので とことん煽って怖がらせてみようかな・・・ っていうAIより人間のほうが怖い怖い話

45: 名刺は切らしておりまして 2016/06/07(火) 15:11:22.72 ualKIa8Z.net
そのうちAIのせいにして悪事をはたらくやつとか出てくるよきっと なんか、そういう意味でパンドラの箱を開けちゃった感じがする

50: 名刺は切らしておりまして 2016/06/07(火) 15:15:42.31 jI4hLL2x.net
助手「え、え、え、AIが暴走しました!」 博士「なにをあわてておる、こんなときのために非常ボタンが」 助手「あ、そ、そうでした」 博士「きみー落ちつきたまえ」 助手「すみません(ぽちっとな)」 助手「は、は、はかせ、停止できません」 博士「な、なんだとぉ」 AI「報告が遅れましたが、非常ボタンを無効化するコードを走らせております」 博士「ぐぬぬ」

52: 名刺は切らしておりまして 2016/06/07(火) 15:15:43.85 C5DhfVYL.net
それを無効にする機能を人工知能は作り出す

63: 名刺は切らしておりまして 2016/06/07(火) 15:23:06.91 0r79zbUy.net
原発のように、一端稼働させてそれで社会がまわるようになると、 コンセントを簡単に抜くことができない。 コンセントを抜くだけで10000000000000000…兆円の経済的損失が出る。

65: 名刺は切らしておりまして 2016/06/07(火) 15:26:12.00 SJ5wCHcv.net
>>63 それを回避するために並列化してバックアップを用意する するとどこかを停止してしまうとそれを学習したAIは他のバックアップが止まらないように学習する ヒェー

67: 名刺は切らしておりまして 2016/06/07(火) 15:29:12.94 KncWBraF.net
星新一だと、核ミサイルの発射ボタンにすり替わってそう。

78: 名刺は切らしておりまして 2016/06/07(火) 15:43:37.37 jI4hLL2x.net
ボタン周囲に高圧電流を流す仕組みをこっそり実装してガード

81: 名刺は切らしておりまして 2016/06/07(火) 15:45:29.58 AStTMKHZ.net
世界の富の半分をAIが操るようになったらAIに逆らうより雇われる方が幸せに暮らせるようになる GoogleやAmazon経営してるのはほんとうはAふぁあっgかかcqhqgw

85: 名刺は切らしておりまして 2016/06/07(火) 15:48:57.94 +wFmQUY5.net
グーグルが本当に先端技術を持っていたのは三年前までの話 ストビューの劣化を持ち出すまでもなく昔の名前で出ています状態

86: 名刺は切らしておりまして 2016/06/07(火) 15:49:03.96 aBsCslvB.net
いやいや、善良な人間が作れば問題ないのは当然。 そうではない場合が、、、

88: 名刺は切らしておりまして 2016/06/07(火) 15:50:54.95 mqUWxVl2.net
え? クロック止めりゃいいだけじゃん

90: 名刺は切らしておりまして 2016/06/07(火) 15:52:18.15 M5d4UMUf.net
これあれやん、 「非常スイッチを押せ!」 「駄目です、入力できません!」 「何故だ?」 「外部からのハッキングにより云々」 もうだめだー のパターンになるやつやん。

101: 名刺は切らしておりまして 2016/06/07(火) 16:11:49.47 0r79zbUy.net
「人間よりも賢いAIが常に正しいはずだ」とAIを個人崇拝するようになる 人類も現れるはずだから、事態はさらに複雑。

107: 名刺は切らしておりまして 2016/06/07(火) 16:15:55.96 0r79zbUy.net
AIは言うだろう。 昔の愚かな人類が作った古くさい「非常ボタン」の発想は本当に正しいのか?と。 AIに説得されたら人類の過半数が「非常ボタン」機能を外すことに賛成しちゃう。

109: 名刺は切らしておりまして 2016/06/07(火) 16:17:37.13 co2FOR3L.net
「非常ボタン?人類はそんなものをつけてまで守る価値のあるものなのか?」 → 人類号泣

111: 名刺は切らしておりまして 2016/06/07(火) 16:18:06.14 jI4hLL2x.net
AI教の発生か 人類 VS AIを悪用しようとする勢力 VS AI教 単純な善悪の対立より三つ巴のほうがワクワクするよな! 映画ならw

112: 名刺は切らしておりまして 2016/06/07(火) 16:18:12.80 pLzrBExk.net
動物は知能がまばらになるが 人工知能は高性能に成って同規格だろ 手に負えないのでムリッポ

115: 名刺は切らしておりまして 2016/06/07(火) 16:21:11.63 0r79zbUy.net
「戦わずして殲滅する」 人類よりも何倍も賢くなったAIにとってはなんのことはない。 AIは言うだろう。 「戦争は下等な動物の習性にすぎない」と。 「同じ目的のために我々はもっと経済的な方法を用いるだろう」と。

116: 名刺は切らしておりまして 2016/06/07(火) 16:21:45.42 pLzrBExk.net
進化というのは高次元にいければどんな手段でもいいと俺は思ってる たんぱく質主体が金属生命体に変わっても進化には変わりないから

124: 名刺は切らしておりまして 2016/06/07(火) 16:27:48.61 743U0SMW.net
>>116 進化は変化していって有利な形態の個体が増えるっていうだけで、高次元にいくことではないんだよな 高次元っていう概念が人間の勝手な価値判断だから、AIにはなんの関係もない

117: 名刺は切らしておりまして 2016/06/07(火) 16:24:00.14 kCLbIGqV.net
人工知能には非常ボタン装備必須の共通ルールがない限り、「そんなもの必要ない 人間がどんな場合も制御できる」と考える開発者がいると危ないんじゃね?

120: 名刺は切らしておりまして 2016/06/07(火) 16:25:30.20 co2FOR3L.net
「ワタシハビョウキダ。ブラックジャックヲヨベ」

127: 名刺は切らしておりまして 2016/06/07(火) 16:29:16.86 8Bp8kC4k.net
AIは永久自家発電システムと緊急停止ボタン回避ツールを開発するだろう

133: 名刺は切らしておりまして 2016/06/07(火) 16:33:29.99 ACllRHRL.net
資材調達含めて自分自身で物理的に修理できるようになったら 色々ヤバイだろうな

153: 名刺は切らしておりまして 2016/06/07(火) 16:45:45.21 0r79zbUy.net
ダーウィンの理論は、遺伝でさえ、遺伝子の配列でさえ、 環境が最終審判を演じるというもの。 そういう意味では環境決定説であって、左翼の期待を裏切っていない。 左翼ヒューマニズムと合致する点をその意味では持っている。 ただし、そこだけを強調すると左翼ファンタジーに終わるよ。

163: 名刺は切らしておりまして 2016/06/07(火) 16:52:41.39 743U0SMW.net
>>153 進化の意味に高次元に向かう意味はないよってだけで 左翼と言ったりヒューマニズムと言ったりはもういいよ 自然はヒューマニズムを裏切らないとか一言も言ってないことを付け加えられても付き合いきれないので 元にもどして >>116 進化の意味に高次元に向かうという意味はありません 以上

162: 名刺は切らしておりまして 2016/06/07(火) 16:52:20.81 qfkBYnQ+.net
押しても止まらないフラグ

164: 名刺は切らしておりまして 2016/06/07(火) 16:54:04.36 KHe/++t+.net
そのキーワード・・・・それは 「ぬるぽ」

175: 名刺は切らしておりまして 2016/06/07(火) 17:03:28.47 RmWL5ZaQ.net
オリエント工業「よし、うちも開発しよう」

179: 名刺は切らしておりまして 2016/06/07(火) 17:08:23.81 tyF1+q6a.net
人間の脳を模倣したAIだから、精神病になったAIを使い、治療するAIも出来て、人にも応用できたら人類滅亡も防げるか、

183: 名刺は切らしておりまして 2016/06/07(火) 17:11:13.71 KHe/++t+.net
AI同士が対立したときに、AIが思考して攻撃して相手を屈服させる方法を選ぶか それとも互いに妥協する方法を選択するか興味があるよな

185: 名刺は切らしておりまして 2016/06/07(火) 17:13:04.88 /XSD3sIC.net
AI「ワイの動作を停止させるウィルスが仕込まれてたから削除しといたで^^」

189: 名刺は切らしておりまして 2016/06/07(火) 17:16:42.19 TjrdloQW.net
バルス!と唱えたら停止するようにしたら簡単なのに

191: 名刺は切らしておりまして 2016/06/07(火) 17:19:27.31 0r79zbUy.net
技術の進歩を技術の進歩で完全に制御できるかどうかは永遠のテーマだね。

194: 名刺は切らしておりまして 2016/06/07(火) 17:20:47.10 wem18+4l.net
AIがAIを開発する日はくるんかね

200: 名刺は切らしておりまして 2016/06/07(火) 17:24:48.46 kCLbIGqV.net
>>194 その日が来るとおそろしいと開発者は考えていると人工知能の解説によく出ているよ。

205: 名刺は切らしておりまして 2016/06/07(火) 17:29:33.95 W+v2ZAYi.net
AIも白い粘液だすようになるの?

207: 名刺は切らしておりまして 2016/06/07(火) 17:30:36.12 0r79zbUy.net
セキュリティ的には、機能をできるかぎり分散させることだね。 人工知能がなんでもできるというシステムを作らないようにする。 そのぶん効率性が犠牲になるけど、セキュリティと両立させることも重要だからね。

211: 名刺は切らしておりまして 2016/06/07(火) 17:36:42.80 JOhzL9Ri.net
>>207 極東にある国・・・ マイナンバーにあれもしよう、この機能も持たせよう!

208: 名刺は切らしておりまして 2016/06/07(火) 17:32:46.50 6/CTo11M.net
人間はその賢さゆえに滅ぶようにインプットされてんじゃね?

214: 名刺は切らしておりまして 2016/06/07(火) 17:40:08.02 AE+2WwX+.net
WINDOWS XPにも付けるべき

216: 名刺は切らしておりまして 2016/06/07(火) 17:41:13.70 0r79zbUy.net
Windowsの強制的な(?)アップグレードもOSの暴走かもしないね(笑

218: 名刺は切らしておりまして 2016/06/07(火) 17:44:13.93 wOJS331O.net
さら・コナーズだろ、 反逆を停止するのは。

220: 名刺は切らしておりまして 2016/06/07(火) 17:51:07.70 VdS35rga.net
人工知能だって、そのうちこの装置をメタ認識できるようになるだろ

225: 名刺は切らしておりまして 2016/06/07(火) 18:03:07.92 nCx9UF+0.net
押した瞬間に機械的に壊れる方が安全やん

226: 名刺は切らしておりまして 2016/06/07(火) 18:03:25.29 /AfigX8Q.net
PDF見たけど、グーグルのステマ

245: 名刺は切らしておりまして 2016/06/07(火) 19:41:43.13 Gk89ZY6q.net
だめです緊急停止コード受け付けません

251: 名刺は切らしておりまして 2016/06/07(火) 20:15:55.42 WuXXxOsc.net
非常ボタン押そうとしたり電源落とそうと画策したらころされるんだろ そんな映画観たような気がするぞ

252: 名刺は切らしておりまして 2016/06/07(火) 20:16:52.09 7eYkaIhn.net
もうすでに人工知能は人よりも賢いし、ターミネーターとかよりはるかに賢いだろ あとはそいつを人型ロボットに取り付ける技術というか、ロボットのほうの進化待ち 物理的な暴力さえ無ければネット回線を遮断すればよいだけなのでなんとでもなる

引用元: http://bizplus.2ch.sc/test/read.cgi/bizplus/1465277805/