AMTを利用したクラウドソーシングテキストマイニング


10/1にAmazon Mecanical Turkより、テキスト情報の内容判断に特化したアプリが発表されました。
今回は、Sentiment Appと呼ばれる本アプリをご紹介します。
元記事:Announcing the Sentiment App on Mechanical Turk

概要

Sentiment Appは、これまでもAMTの利用形態として多かったテキスト情報の感情判断を、
依頼をしやすい定型フォーマットにまとめたものです。
特徴は次の3つです。

  • 既にデザインされたHIT(HTMLコーディング不要)
  • サンプルサイズの指定が可能
  • 容易に解析できるビルトインツール

使い方

リクエスター用ページのCreateタブからSentimentメニューを選択する

依頼タイトルを入力し、ワーカーにしたい質問を定義する。
以下の例では、ツイート内容がポジティブがネガティブかを判断してもらう。

次に、ワーカに対する指示を入力する。
選択肢は、とてもネガティブからとてもポジティブまでの5段階に分かれており、どういった場合にどの選択肢を選んでほしいかを記述する。

次に、マイニング対象のテキストを含むCSVファイルをアップロードする。
この際、データにラベルを付与することができる。

プレビューでHITを確認後、各作業にいくらを支払うかを決定する。

これで依頼は完了。

結果解析方法

作業完了後、ワーカーの作業結果はダウンロードすることが可能。
回答のサマリグラフが表示される。

ダウンロードする代わりに、左ナビからResultsを選択して結果を参照することも可能。

雑感

これまで、テキストマイニングは機械学習といったコンピュータを用いた自動的なアプローチが多かったが、クラウドソーシングの進展により、人を用いることも可能になってきていると感じました。
大まかな部分は機械で自動的にやり、残りの精度上げをクラウドソーシングで行うといった、ハイブリッドなアプローチが最もリーズナブルではないかと私は思います。


コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

*

次のHTML タグと属性が使えます: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>