公平性評価のための革新的なデータセット「FHIBE（Fair Human-Centric Image Benchmark）」を公開

・既知のバイアスを顕在化させ、AIモデルに潜む新たなバイアスの傾向を特定

・幅広いコンピュータービジョンタスクにおけるバイアスを評価するための グローバルに多様かつ同意を得た人物画像データセットを初公開

・世界有数の科学誌「Nature」に本日掲載

ソニー AIは、コンピュータービジョンモデルの公平性を評価する革新的なデータセット「Fair Human-Centric Image Benchmark（FHIBE、フィービー）」を初公開しました。コンピュータービジョン技術は、スマートフォンから自動運転車まで、現代のAI活用において中心的な役割を果たす一方で、FHIBEは業界が長年抱えてきたバイアス（偏り）*や倫理的に問題のある学習データという課題に取り組んでいます。取得、管理から活用に至るまで、データのライフサイクル全体において、責任あるプロトコルを推進し、業界全体の改善促進を目指しています。この中には、データの提供者に対する公正な報酬や明確な同意メカニズムの確立も含まれます。

FHIBEのデータセットは本日より公開され、本研究の成果は11月5日発行の「Nature」誌に掲載されました。

*AIが特定のグループや個人に対して不公平・不平等な結果を出す傾向のこと

画期的なデータセットでAIの恒常的な課題に取り組む

FHIBEは、多様性に欠き、同意を得ずに収集された既存の公開データセットに内在する問題に対処するために開発されました。これらのデータセットは、バイアスを助長し、AI開発者やユーザーにとって恒常的な課題となっています。また、適正かつ公開された評価データセットの不足により、バイアスをもつ有害なモデルが実運用されるリスクが高まります。その結果、あるモデルが持つ潜在的な有害性や、モデルがグローバル規模で公平に機能する能力を検証することが困難になる可能性があります。ソニー AIは、これらの障壁に対処する必要性を認識し、世界中のAI開発者や研究者が活用できるベンチマークを提供すべく、多大なリソースを投じました。

FHIBEは、人を中心としたさまざまなコンピュータービジョンタスクに対応する、同意に基づいて収集された、グローバル規模で多様性を備えた公平性評価データセットです。この度、初公開されたデータセットにより、今後、研究者や開発者は、顔の検出および確認、身体の姿勢推定、ならびに視覚的質問応答といった、幅広いコンピュータービジョンタスクにおけるバイアスや精度を厳密に評価できるようになります。

「FHIBEは、倫理的なAIを最優先に据えることで、公平で責任のある手法が実現可能であることを証明しました。近年、AIは急速に進化しており、データの収集とその使用方法が倫理面に及ぼす影響を真摯に検証する必要があります。業界はあまりにも長く、多様性を欠き、バイアスを助長し、適切な同意を得ずに収集されたデータセットに依存してきました。」と、ソニーグループ株式会社 AIガバナンスオフィスのゼネラルマネージャーであり、ソニーAIのAI倫理リードリサーチサイエンティストであるアリス・シャンは述べています。

「このプロジェクトは極めて重要なタイミングで始動しました。インフォームド・コンセント（説明に基づく同意）、プライバシー、公正な報酬、安全性、多様性、そして実用性といった観点における優れた手法を取り入れることで、データ収集における信頼性を確保することが可能になることを示しています。これは大きな前進ですが、始まりに過ぎません。私たちは、公平で透明性があり、説明責任を果たすAIの将来の進展に対して、新たな前例を築いていきます。」

精緻な評価とより詳細な診断を可能にし、新たな国際的ベンチマークに

このデータセットは、同意を得て収集した1,981人の被写体の10,318枚の画像から構成されています。各画像には詳細かつ正確な注釈情報が付与されています。これにより、人口統計的および身体的特徴、環境要因、カメラの設定を把握し、幅広い属性とその交点における公平性とバイアスを精緻に評価することが可能になります。これらの画像は世界81以上の国や地域の被写体から収集しており、最もグローバルに多様かつ包括的な注釈情報を備えたものの一つとなっています。

本日「Nature」に掲載された論文「Fair human-centric image dataset for ethical AI benchmarking （倫理的AIベンチマーキングのための公正な人中心画像データセット）」では、FHIBEのパフォーマンスを狭義のコンピュータービジョンモデルと大規模マルチモーダル生成モデルの両方で検証しています。また、本論文では、FHIBEが人口統計的属性とその交点におけるバイアスを評価する方法を示すとともに、FHIBEを既存の人中心の公平性評価データセットと比較しながら、その有効性を明らかにしています。

ソニー AIの研究チームは、FHIBEを用いて既知のバイアスを再確認するとともに、こうしたバイアスを引き起こす要因を詳細に診断できることを示しました。例えば、FHIBEは「She/Her/Hers」という代名詞を使用する人々に対して、一部のモデルの精度が低いことを検証し、この差異は髪型の多様性が大きいことに起因することを特定しました。髪型の多様性は、従来の公平性に関する研究では見落とされがちだった要素です。また別の例では、「この人の職業は？」といった中立的な質問に対し、特定の人口統計的グループを犯罪活動と結びつけるなど、固定観念を助長するケースがあることも確認されました。

このデータセットは、時間の経過とともに責任ある形で進化を遂げるよう設計されています。データの被写体は、自身の個人情報の管理権を保持するだけでなく、同意をいつでも撤回でき、それにより得られる報酬への影響はありません。ソニーAIでは、同意が撤回された画像を削除した後、データセットの一貫性と多様性を維持するため、可能な限り代替データを追加することで、FHIBEを継続的に更新されるベンチマークとして維持していきます。

本プロジェクトの詳細や公開されているベンチマークデータセット、そして開発に関する短編動画は、こちらからアクセス頂けます。

本資料は、Sony AIが発表した英語版プレスリリースの抄訳版です。原文は、 こちらをご覧ください。