« 受験スケジュール管理の一手法 | トップページ | 「研究」って何? »

絶対評価と相対評価

2018年12月16日 (日) 投稿者: メディア技術コース

メディア学部の大淵です。

大学の先生は成績をつけなければならないので、絶対評価と相対評価ということでいつも悩んでいるのですが、私が研究している「声の品質評価」という分野でも、同じことが問題になります。

声の品質の良し悪しは、本来ならば絶対評価で数値化したいのですが、なんといっても主観的なものですから、なかなか厳密な評価ができません。「とても良い」「良い」「普通」「悪い」「とても悪い」の5段階評価のアンケートを取ったりするのですが、人によって基準が異なってしまうのが悩ましいところです。そんなときには、相対評価のアンケートを取った方が良い場合があります。2つの声を聞かせて、「どっちが良いと思いますか?」と聞くと、わりと安定した回答が得られるのです。

相対評価のアンケート結果でも、たくさん集まれば、そこから絶対評価の値を求めることもできます。ThurstoneとMostellerという人が考えたモデル(*1)では、絶対評価の値を中心として評価が確率的に変化し、その評価値の比較によって相対評価が行われると考えます。私の以前の研究(*2)では、いろんな人に話してもらった「いらっしゃいませ」という声の魅力度を、この相対評価の方法に基づいて分析してみました。

さて、こうした分析方法は、声の評価以外の分野でも使われています。代表的な例として、スポーツのランキング作成があります。スポーツの試合というのは普通は2チームの間で行われるわけですが、そうした試合結果(相対評価)をたくさん集めて、チームのランキング(絶対評価)をしてみようというわけです。せっかく研究用にプログラムを作ったので、そのプログラムで、2018年の日本のプロ野球チームのランキングを推定してみました。その結果が以下の図です。

Npb2018

横軸にペナントレースの勝率、縦軸にThurstone-Mostellerモデルのスコアをプロットしてみました。こうしてみると、リーグ内での上下関係は普通の順位通りになりましたが、リーグ間の関係に顕著な差が現れました。これは、交流戦でパシフィックリーグの成績が良かったためだと思われますが、こうしたものが数式だけから簡単に計算できるのも面白いですね。

(*1) F. Mosteller, "Remarks on the Method of Paired Comparisons: I. The Least Squares Solution Assuming Equal Standard Deviations and Equal Correlations," Psychometrika, Vol.16, No.1, pp.3-9 (1951)

(*2) Y. Obuchi, "Personalized Quantification of Voice Attractiveness in Multidimensional Merit Space," Interspeech, Stockholm, Sweden (2017)

おもしろメディア学」カテゴリの記事

« 受験スケジュール管理の一手法 | トップページ | 「研究」って何? »