ソーシャルキュレーションデータを用いた画像コンテクストマイニング

Abstract

本論文では,画像を扱うソーシャルキュレーションサービスの1つであるPinterestの画像データから,共通するコンテクストを持つ画像群を自動的に発見する手法を提案する.ソーシャルキュレーションは,日本語では一般に「まとめサイト」とも呼ばれ,キュレーターと呼ばれる人間が既存コンテンツを人手で収集・選択した結果を編集コンテンツ群として共有する仕組みである.その結果として得られた編集コンテンツ群は,通常のSNS上のコンテンツとは異なり,キュレーターにとって不要なコンテンツが除去され,キュレーターの意図や意見を反映した一貫した指針に基づいて生成されている.このことから,編集コンテンツ群を構成するコンテンツは,共通のコンテクストを保持していることが期待される.本論文では,このソーシャルキュレーションのプロセスに着目することで,自然言語との直接的な対応付けが必ずしも容易であるとは限らない概念やコンテクストなどを共有する画像群を,非常にシンプルな手法で大量に発見できることを示す.さらに本論文では,発見した画像群を画像認識・検索のための類似性を自動的に獲得するための重要なステップとして,コンテクストの共通性を考慮した画像特徴量の低次元埋め込み手法を提案する.この手法を利用することで,類似するコンテクストを持つと思われる画像が類似する低次元特徴量を持つような埋め込みを実現するとともに,画像分類のタスクで同様の機能を実現する従来手法と比較して高い分類性能を実現できることを実験的に示す.

Publication
情報処理学会論文誌 数理モデルと応用

Related