あなたにラベルを付けるバイラルアプリは、あなたが思っているものとは少し違う

今週、 Twitterの住人たちが奇妙なラベルを貼られた自分の写真を投稿し始めた。「顔」のように紛らわしいほど無害なものもあれば、より厳しい真実を裏付けているようなものもあった。例えば、この謙虚な筆者は「無名」「無力な人物」と評された。まあ、それも当然だろう。しかし、多くのラベルはもっと厄介なものだった。レイプ容疑者や債務者もいた。黒人だけでなく、「ニグロ」「ニグロイド」といったラベルまで貼られることもあった。

「ImageNetルーレット」と呼ばれるこのプロジェクトは、アーティストのトレバー・パグレン氏と研究者のケイト・クロフォード氏による、AIに欠陥のあるデータを取り込む危険性を示すための取り組みです。このプロジェクトは、AI分野における重要なリソースの一つであるImageNetに狙いを定めています。ImageNetは1400万枚の画像を収録したデータベースで、自動運転車から顔認識まであらゆる技術に用いられるディープラーニングの可能性を解き放ったとされています。ルーレットツールのアルゴリズムは、ImageNet内の画像を使ってトレーニングされています。これらの画像は、「だらしない女性」から「ウズベク人」まで、2395のカテゴリーで人物を分類しています。「ImageNetを紐解いて、本来見られるべきではない画像を見てみたかったのです」とパグレンは言います。この実験は今や話題となっており、多くの人々が、そもそもこれらの分類がどのようにしてそこに存在するのか、そしてなぜそれが残っているのかを疑問視しています。

その答えは、AIが未熟な科学から日常的なツールへと急速に進化し、膨大なデータに潜在的なバイアスが埋もれてしまったことにあります。最近、この問題は業界関係者の注目を集め始めています。ImageNetの開発者もその一人です。彼らはデータベースの欠陥を十分に認識しており、過去1年間「人物」ラベルの問題を修正するために取り組んできたと述べています。研究者が人物の画像を使用することは稀だと指摘しながらも、開発者たちはデータセットの「バイアス除去」を進めていると述べています。

この取り組みには、1月にスタンフォード大学のサーバーから1400万枚の画像の大半を削除することが含まれていました。その間、チームは不快とみなされるカテゴリーと、画像の分布をより多様化する方法を検討しました。また、チームは「非視覚的」とみなすカテゴリーも削除する予定です。なぜなら、何らかの文脈上の不正行為や内在するバイアスがなければ、アルゴリズムがどのようにして「バハマ人」や「債務者」を識別できるでしょうか？彼らは8月に、この手法を説明した論文を査読に提出しました。

それでも、ImageNetの問題は、ほとんど忘れ去られた情報源からバイアスがどのように伝播するかを如実に示している。この場合、情報源は1980年代半ば、プリンストン大学で行われたWordNetと呼ばれるプロジェクトに遡る。WordNetは心理学者と言語学者による「概念辞書」の提供を目指した取り組みで、単語を関連する意味の階層構造に整理していた。例えば、動物から脊椎動物、犬、ハスキー犬へと、あるいは途中で猫やトラ猫へと枝分かれしていくかもしれない。このデータベースはメリアム・ウェブスター辞典の域を超え、難解なデザートから時代遅れのスラングまで、あらゆる用語を網羅している。「当時は社会的に適切と考えられていた用語の多くが、今では全く不適切になっている」と、ウォータールー大学のコンピューターサイエンス教授、アレクサンダー・ウォン氏は言う。

2009年、フェイフェイ・リーとカイ・リーを含むImageNetの開発者たちは、画像にも同様の階層構造を構築しようと試みました。これは、AIに物体の識別と分類を教える上で有用なツールになると考えていたからです。彼らの野望は壮大なものでした。WordNetを便利なテンプレートとして使い、名詞のビジュアルライブラリを作成することです。しかし、画像にアノテーションを付与するのは時間と費用がかかり、特にプリンストン大学の学部生に報酬を支払う必要がある場合はなおさらでした。最終的に、AmazonのMechanical Turkでクラウドソーシングされたアノテーターたちの協力を得て、画像内の物体を識別し、不適切な一致を除外する作業が進められました。

ImageNetの研究者たちは、不快なカテゴリや無神経なカテゴリが含まれていたのは、最終的に5万人の作業者が1億6000万枚の候補画像を評価するというタスクの全体的な規模によるものだと考えている。また、実際に使用されたのは「人物」画像のほんの一部に過ぎなかったことも指摘している。これは、ImageNetという言及が通常、画像内の物体を検出して分類するAIを構築する研究チーム間の競争であるImageNet Challengeで使用されたデータセットの縮小版を意味するためである。約2万の物体クラスのうち、競争では1000クラスに制限され、100万枚強の画像が対象とされた。含まれていた「人物」カテゴリは、スキューバダイバー、新郎、野球選手の3つのみだった。この限定バージョンを使用してトレーニングされた最良のモデルは、通常、他の研究や現実世界のアプリケーションで使用されるモデルである。

パグレン氏は、このバイアス除去の取り組みは前向きな一歩だと述べているが、データが10年間も検証されていなかったという事実は、明らかに示唆に富んでいると指摘する。「これらのデータセットを作成した人々は、そこに何が含まれているのか全く理解していなかったようです」とパグレン氏は言う。（ImageNetチームは、このバイアス除去プロジェクトは機械学習をより公平なものにするための「継続的な」取り組みの一環だと述べている。）

ImageNetにおけるバイアスを研究してきたウォータールー大学のウォン教授は、このデータベースが作成された当時、研究者たちは物体検出アルゴリズムを機能させるための基礎的な研究に集中していたため、この傾向が見過ごされていた可能性が高いと述べています。ディープラーニングの驚異的な成功は、この分野に衝撃を与えました。「AIは今や実用化の段階に達しており、人々はその社会的な影響に注目し始めています」とウォン教授は述べています。

ImageNetの制作者たちは、当初の品質管理の試みが効果を発揮しなかったことを認めています。データセット全体は1月までオンラインに残っていましたが、研究者たちはImageNet Challengeの画像以外をすべて削除しました。今回のリリースでは、オリジナルの人物画像のうち半分以下しか含まれません。また、ユーザーは追加の画像やカテゴリーを不快なものとしてフラグ付けできるようになります。これは、「不快さは変化し続け、常に変化している」という認識に基づくものだとImageNetチームは記しています。

画像の削除自体が物議を醸している。「1月に誰も何も言わずに大量のデータが消えてしまったことに驚きました」とパグレンは言う。「これは歴史的に重要なデータベースです。」彼は、データはおそらく今もなお様々なサーバーや自宅のパソコンにダウンロードされたまま、出回っているだろうと指摘する。アクセス可能な自宅からデータを削除することは、バイアスの再現と研究をさらに困難にするだけだとパグレンは言う。

研究者たちでさえ、このデータがバイアス除去プロジェクトの一環として削除されたことを知り、驚いた。ウォン氏の大学院生であるクリス・ダルハンティ氏は、今年初めにImageNetチームに連絡してデータを要求したが、返答がなかったという。彼は、ImageNetサイトの老朽化に伴う技術的な問題が削除の理由ではないかと推測した。（ImageNetチームはデータ削除の決定に関する質問には回答しなかったが、他の研究者と協議して再び公開できるようにする予定だと述べた。）

ImageNetルーレットに付随する論文の中で、パグレン氏とクロフォード氏は、ImageNetからの画像削除を他の機関による同様の動きに例えています。例えば、マイクロソフトは6月、フィナンシャル・タイムズの調査を受けて「MS-Celeb」データベースを削除しました。

ImageNetのバイアス除去の取り組みは良いスタートだとウォン氏は言う。しかし、ウォン氏はチームが人物カテゴリー以外のバイアスについても調査する計画を着実に進めてくれることを期待している。「非人物」画像の約15%には、実際にフレームのどこかに人物が含まれていると彼は指摘する。これは、ある研究チームが指摘したように、黒人と「バスケットボール」というラベルを関連付けたり、コンピューター関連のオブジェクトと若くて白人で男性の人物を関連付けたりするなど、意図しない関連付けにつながる可能性がある。こうしたバイアスは、「人物」ラベルに含まれるバイアスよりも、広く使用されているモデルに埋め込まれている可能性が高い。

パグレン氏は、偏見をなくそうとする試みは無駄かもしれないと言う。「情報を整理するのに中立的な方法など存在しない」と彼は言う。彼とクロフォード氏は、センシティブなラベルに対してより微妙なアプローチを試みた、より最近の他のデータセットを挙げる。彼は、顔の寸法を測定することで顔に「多様性」をもたらそうとするIBMの試みを挙げる。著者らは、これが人間の判断よりも改善されることを期待しているが、新たな疑問も生じると指摘している。肌の色はより良い指標なのか？その答えは、進化する社会的価値観を反映するだろう。「分類のシステムはどれも、その時代の流行に左右される」と彼は言う。パグレンは来週、ロンドンで、この分野におけるAIの盲目的な無知を示すことを目的とした展覧会を開く。展覧会は、「リンゴはリンゴではない」とラベル付けされたマグリットのリンゴの絵画で始まる。AIアルゴリズムにそれを納得させるのは至難の業だ。

WIREDのその他の素晴らしい記事