netflix prize is over, 時間経過による嗜好性の変化

米国のオンラインDVDレンタルサービス「Netflix」が、現在利用しているレコメンデーションシステムの性能をはじめに10%改善したチームに100万ドルの賞金を与えるという触れ込みで始まったnetflix prizeは当初の予想よりも時間がかかったが、つい最近最初からトップを走り続けていたbellkorと、上位陣のコラボレーションのチームが10%の壁を破った（leaderboard）。

彼らの手法は「非常に多くの様々な種類のレコメンデーションシステムの結果を混ぜ合わせる」という愚直だがいかにも精度が出そうだという方法を採用している（、と昨年度の結果からは思われる。近々詳細は出るだろう。）

実際に使ってとどめになったかどうかは分からないが、彼らのチームの主要メンバーがKDDで新しい手法を発表しており、単一の手法による最高精度を達成している。ちなみに今年のKDD（データマイニング系の学会の最高峰の一つ）のBest Research Paperである

Yehuda Koren, "Collaborative Filtering with Temporal Dynamics ", KDD 2009 pdf

これは時間経過による嗜好性の変化をモデルに組み込んだものである。

協調フィルタリングによるレコメンデーションを行おうと思うと時間経過による様々な変化がある。例えば、ある人の嗜好性が連続的に変わる、もしくはある商品に対する評価が連続的に変わるということもあるし、ちょっと面白い例で、一つのアカウントを家族で使う状況だと、ある日はお父さんが使っていて、次の日は娘が使う場合があり、この場合だと、アカウントだけをベースにみていると嗜好の傾向が非連続的に変わることになる。

この嗜好の時間変化についてはずっと昔から多くの人が取り組み、利用してきたがどうもうまくいかなかったものだが（グラフの変化、テンソルでとらえるような研究も多い）、この研究では、まず単純に時間経過情報を入れただけではうまくいかないというところからスタートして、様々な工夫を入れている。最終的に高い精度を達成した手法では、人毎、商品毎のbias項、人と商品の隠れ項の部分に時間変化の影響を入れており、緩やかな場合の変化をスプライン関数で捉え、さらに連続的ではない急激な変化を１日毎のログを別に加えることで捉えている。

この論文で特に面白かったのが６章から始まる結果の分析であり、様々な時間経過による指向性の変化を仮説を立てて調べている。2004年頃に全体のレーティングが非連続的に上がるという現象がみられ、さらに古い映画の評価が新しい映画の評価よりも高くなるという現象がみられている。

分析の手法は実際に論文を読んでもらうとして、結果、分かったのは、2004年頃にnetflix自身が提供しているレコメンデーションシステムのcinematchの精度が向上し、GUIもよくなったおかげでユーザーがより自分の嗜好にあった映画を見られるようになったということである。さらに、新しい映画はなんとなく流行りだから見ている場合が多いのに対し古い映画はレコメンデーションシステムによってお勧めされたものが多いので古い映画の評価が相対的に高いことが起きたらしい。

10%の性能改善という絶妙な目標設定とともに、最終的にnetflix社のcinematchがユーザーの満足度を上げているのに成功したということが証明された形でnetflix prizeが終わりを迎えることで、netflixすごいなとおもいました。