【IT】どんな「ヘイトスピーチ」も見逃さない人工知能、ヤフーが開発

1: 海江田三郎 ★ 2016/08/01(月) 18:38:18.75 CAP_USER.net
http://wired.jp/2016/08/01/yahoo-online-abuse-algorithm/ ネット上のコメントにヘイトスピーチが含まれているかどうかを正確に識別できる「罵り検知アルゴリズム」をヤフーが開発した。 ヤフーのアルゴリズム(PDF)は、テストケースの90パーセントで罵りコメントを正しく識別することができた。 論文によると、ディープラーニングなどの「最新式」の手法よりも性能がいいという。 現状では、罵り言葉を検知するプログラムはそのほとんどが、コメントに含まれるヘイト的な語句を探し出す仕組みになっている。 ヘイト投稿によく使われる特定のキーワードがコメントに使われていたら、アルゴリズムがそれを「罵り」だと判断し、 コメントを自動的に削除するか、モデレーターに転送して確認をする。 しかしこのようなキーワードに基づくシステムは、微妙な種類のヘイトスピーチをとらえるのが得意ではない。 荒らしが曖昧な罵り言葉を使う場合はフィルターをすり抜けてしまうし、これといった罵り言葉を含まないヘイト投稿もありうる。 また、従来のアルゴリズムは、辛辣なコメントを罵り言葉だと間違えてラベリングする可能性があるし、 ヘイトの新しい表現を認識できないことがある。文法的に正しい英語で書かれている、という理由で荒らし投稿を見過ごしてしまうこともある。 正確なアルゴリズムは、人間が育てることで…る ヤフーは、最高に正確なヘイト検知アルゴリズムを開発するため、キーワードに基づくシステムを超えたシステムを開発しようとした。 そこで、「Yahoo! News」と「Yahoo! Finance」の記事に付いた罵り言葉のコメントとそうでないコメントで構成されたデータセットを用い、 コメントの長さ、侮辱語の数、および句読法をアルゴリズムに分析させて、罵りのメッセージの典型的な特徴を割り出した。 また、訓練を受けた人間の評価者が、同じコメントの集まりを分析し、罵り言葉であるかどうかを評価した。 これを、人間から見れば無条件に罵りだとわかる投稿についてアルゴリズムを訓練するのに役立てた。「暗黙の罵り」を見分ける人間の能力を生かそうというわけだ。 ヤフーはさらに、ア…ンのサイト「Mechanical Turk」を利用して、罵り言葉の評価をアウトソースした(Mechanical Turkでは、 誰もがサインアップして、画像の分類や言葉の分析といった一定の人間の知能を必要とする仕事ができる)。 今回の研究では、訓練を受けていない人が、ネット上のコメント1件あたり0.02ドル相当の額で、罵り言葉かそうで ないかの分類に取り組んだ。ヤフーの訓練されたスタッフに比べると、Mechanical Turkの作業者は検知の成績がかなり悪かった。 このことは、罵りの検知にはよく訓練された人間のスタッフの存在が重要だということを示している。 アルゴリズムはヤフーのデータベース以外ではテストされていないが、同社はこのアルゴリズムは自然言語処理におけ る「大きな前進」だと自信をもっている。罵り言葉のデータベースは「Yahoo Webscope」でまもなく公開される予定だ。

58: 名刺は切らしておりまして 2016/08/01(月) 19:12:45.27 4keiA9zc.net
>>1 >「どんな〜見逃さない」 はいダウト

3: 名刺は切らしておりまして 2016/08/01(月) 18:39:55.49 UekXxN8Q.net
見つけたからって、なんなのかと

5: 名刺は切らしておりまして 2016/08/01(月) 18:40:28.59 S3LudASC.net
言論の自由はどこに?

6: 名刺は切らしておりまして 2016/08/01(月) 18:40:29.50 1TrKnqOD.net
と言う事はそのアルゴリズムのベータテストならあらゆる罵倒語は許容されるわけだね と言ってみるテスト

7: 名刺は切らしておりまして 2016/08/01(月) 18:40:33.26 ZH/KmfNN.net
これにはオバマもニガ笑い

61: 名刺は切らしておりまして 2016/08/01(月) 19:14:34.01 4AGvT5wE.net
>>7 やるなあ。

9: 名刺は切らしておりまして 2016/08/01(月) 18:40:59.09 HTemfq/E.net
ヘイトスピーチより損さんの無駄遣い止めるアルゴリズム開発した方がよくね?

10: 名刺は切らしておりまして 2016/08/01(月) 18:41:06.41 q4qfaq7B.net
色々なものがヘイト認定されて誰も行かなくなるだろうなw

15: 名刺は切らしておりまして 2016/08/01(月) 18:43:01.74 0yYS0GkI.net
削除されまくって白い掲示板

19: 名刺は切らしておりまして 2016/08/01(月) 18:46:02.49 MflZLPZa.net
ちょんちゃんやりたい放題!

22: 名刺は切らしておりまして 2016/08/01(月) 18:47:26.56 VOh6X1O1.net
半年ROMってろ

24: 名刺は切らしておりまして 2016/08/01(月) 18:48:16.98 +XpheytO.net
都合悪い事は全て消すニダ

26: 名刺は切らしておりまして 2016/08/01(月) 18:50:21.02 BqN08UcF.net
在日は水晶の夜を恐れているのかね?? 取り敢えず犯罪の温床になってる通名禁止から始めようなw

32: 名刺は切らしておりまして 2016/08/01(月) 18:53:42.55 xomKRE8j.net
たてよみ、ななめよみに対応できんの?

33: 名刺は切らしておりまして 2016/08/01(月) 18:54:23.69 OrDn1/WZ.net
正確に識別できる テストケースの90パーセントで罵りコメントを正しく識別することができた 最初の二行ですでに矛盾が生じてるけど

35: 名刺は切らしておりまして 2016/08/01(月) 18:55:46.39 EOY0I4MI.net
なに、禿に禿って書き込むとブラックリストにのるの?

36: 名刺は切らしておりまして 2016/08/01(月) 18:56:01.41 57btmdRP.net
よろしい すり抜けてみせよう

37: 名刺は切らしておりまして 2016/08/01(月) 18:57:16.10 BwA+MZhU.net
そんなことより罵詈雑言風説の流布だらけのヤフーファイナンス掲示板をどうにかしろよ

45: 名刺は切らしておりまして 2016/08/01(月) 19:02:19.67 cIOIQb62.net
言葉狩りが横行する暗黒時代の幕開けだ

52: 名刺は切らしておりまして 2016/08/01(月) 19:09:11.23 KMIaeFPW.net
外国人差別は国際法で認められてる これがないと国交断絶、経済制裁、日本人パスができないからだ あらゆる形態の人種差別の撤廃に関する国際条約 2 この条約は、締約国が国民と外国人との間に設ける区別、排除、制限又は優先については、適用しない。

54: 名刺は切らしておりまして 2016/08/01(月) 19:10:27.33 hxdBCb1l.net
こうやって衰退して行くんだろうな

64: 名刺は切らしておりまして 2016/08/01(月) 19:15:13.28 zfaLSRW6.net
トランプ次期大統領のコメントが何もネットに表示されなくなります。新しい形の秘密恐怖政治の始まりです。

69: 名刺は切らしておりまして 2016/08/01(月) 19:17:17.55 PzjtO/zL.net
彡 ⌒ ミ ( ´・ω・`) カ゛タッ l r Y i| _U__/￣￣￣/_ ＼/ /

73: 名刺は切らしておりまして 2016/08/01(月) 19:18:58.93 JRjX+o4O.net
孫のヤフーなの? 本家じゃないの?

77: 名刺は切らしておりまして 2016/08/01(月) 19:25:36.32 cu2emMDx.net
最近、ヤフー事態検索では使わんからなw

85: 名刺は切らしておりまして 2016/08/01(月) 19:33:08.49 bCd0NDhq.net
中華人民共和国には使わないの?

90: 名刺は切らしておりまして 2016/08/01(月) 19:36:01.06 4DH1h+wq.net
桜井もびっくり!

95: 名刺は切らしておりまして 2016/08/01(月) 19:40:05.32 3xiPGqri.net
Chosn shine !!!

101: 名刺は切らしておりまして 2016/08/01(月) 19:42:37.34 /IrFPzEf.net
はげ

105: 名刺は切らしておりまして 2016/08/01(月) 19:47:58.00 +sCaQ8Wq.net
さすがヤフー、日本人の敵

106: 名刺は切らしておりまして 2016/08/01(月) 19:49:11.03 RxytFILZ.net
えーーー! てょんパ力って、もう書けないのか?

109: 名刺は切らしておりまして 2016/08/01(月) 19:51:36.54 xomKRE8j.net
私は韓国人ニダ AI「これは発言者本人に対するヘイトスピーチ」

110: 名刺は切らしておりまして 2016/08/01(月) 19:52:27.73 D8WQU510.net
利用しないだけ。

111: 名刺は切らしておりまして 2016/08/01(月) 19:52:34.33 3VISvm0l.net
偏った人工知能っぽいな。 Yahooの利用規約とかで引っかかったりしてww

114: 名刺は切らしておりまして 2016/08/01(月) 19:53:34.38 pMUC2Jrx.net
ヘイトスピーチが問題じゃないんだよ。 罵りになっている問題の根源探ししてくれよ(笑)

引用元: http://bizplus.2ch.sc/test/read.cgi/bizplus/1470044298/