東京工科大学 メディア学部 ブログ

前回の教員似顔絵の記事で、専門分野の類似度を測って二次元のマップを作っていました。それについて簡単に解説します。これには単語のベクトル表現というAIの技術が用いられています。これは、私たちが使っている単語をベクトルといういくつかの数値の組に変換して表現することによって、単語同士の類似度などをベクトル同士の計算によって数値として求めることを可能にする技術です。

例えば、soundとgraphics、speechをベクトル化してみます。実際は何十から何百という次元数の長いベクトルになります。

Vsound = [-0.0073 0.0101 ・・・ 0.0038]

Vgraphics = [-0.0335 -0.0007 ・・・ 0.0118]

Vspeech = [0.003 0.0053 ・・・0.0507] 

 これは、同じ文に使われている単語は関連が深い、すなわち近いベクトルになるという仮定の下でAIを学習し、そのAIによって任意の単語を数値の組み合わせすなわちベクトルで表現したものです。

類似度は、コサイン類似度と呼ばれる、ベクトル同士のなす角の余弦の値を求めることにより計算します。(実際は大きい次元のベクトルですが、下図は簡略化のために3次元で描いています。)

そうすると、Vsound とVgraphics 、Vsound とVspeechそれぞれの間の類似度をとります。

類似度(Vsound, Vgraphics ) =0.50

類似度(Vsound, Vspeech ) =0.37

soundとgraphicsの類似度よりsoundとspeechの類似度のほうが小さいことがわかりますね。つまりsoundとspeechの関係は、soundとgraphicsの関係よりAIの結果上は遠いということになります。あれ？と思われるかと思いますが、あくまで同時サウンドとグラフィックスは近い文脈で使われているが、音声・スピーチ・話という単語は一緒に使われる頻度が少ないということを表しているに過ぎません。

その後、類似度から各単語同士の距離を計算します。方法はいくつかありますが、例えば 距離=１－類似度　などとして、類似度が小さいほど距離の値が大きくなるように定義して計算します。

そして各単語間の距離が得られるので、そこから多変量解析によって2次元の平面に乗せたときの位置関係を座標として求めます。

その座標点に各教員の似顔絵を乗せたのが、前回の図でした。教員の点は教員紹介の単語を取っていて、複数ある場合はベクトルを平均しています。今回、単語をベクトルに変換するAIはfastText [1]という手法を使い、ウェブ記事の文章を集めて学習した公開されている英単語の統計モデル[2]を使用しました。

以下は各似顔絵の答え合わせです。

メディア技術コース　越智

参考文献

[1] Bojanowski, P., Grave, E., Joulin, A., & Mikolov, T. (2017). Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, 5, 135-146.

[2] https://fasttext.cc/