« SSEとかWaveletとか | Main | WEB+DB PRESSに記事書きました »

2007.12.15

nips 2007 tutorial

nips 2007(行ってないけど)のtutorialが例年のようにweb上から見れるようになってます [link]
たぶんそのうちvideoも公開されるのでしょう。
面白いもの揃いですが、とりあえず目についたのは次の二つかな

Learning Using Many Examples
非常に大量の訓練用データが使える場合の学習はどうすればいいのという話。結論から言うとStochastic Gradient Descent(確率的勾配降下法)が理論的にも、実践的にも優れている。
パーセプトロンスタイルの学習(Online Passive Agressive Algorithm [pdf])とか、Online Exponentiated Gradient Algorithm[pdf]とか、どんどんオンライン型学習(データまとめて見ないで、一個ずつ見てすぐパラメータ更新する)手法の優位性がどんどん示されてきてます。実装もどんどん楽になります。

Deep Belief Nets
最近の学習モデルは隠れ層(観測できない層)が無いか、多くても1層の場合が殆どだけど、旧来のニューラルネットワークのように非常に深い層を使って学習する手法が、最近多くのタスクで今の最新手法を超える高性能を挙げはじめてます。
#隠れ層の数が1つでも、それ以上でも表現できる能力は等価であることは示されているが、特徴間に高次の相関があるような有限個の訓練データを使って学習できるかということになると、多層の方がモデルを遥かにコンパクトに表現できるので、多層の方がいい。
これは学習手法の発展があったことが大きく(1層ずつgreedyに学習させてから全体をcontrastive divergenceで学習しなおす)、従来では想定できなかったような大量のパラメータ、層数で学習、推定ができるようになってて、文書の関連度合の高速なhashingとか、従来想定されていない用途にも使われるようになってます。[link]

|

« SSEとかWaveletとか | Main | WEB+DB PRESSに記事書きました »

Comments

Post a comment



(Not displayed with comment.)




TrackBack

TrackBack URL for this entry:
http://app.cocolog-nifty.com/t/trackback/3041/17377868

Listed below are links to weblogs that reference nips 2007 tutorial:

« SSEとかWaveletとか | Main | WEB+DB PRESSに記事書きました »