« February 2009 | Main | April 2009 »

2009.03.14

大規模データを基にした自然言語処理

人工知能基本問題研究会 (SIG-FPAI)でタイトルの題目で一時間ほど話してきました。

発表資料 [pptx] [pdf]

話した内容は
- 自然言語処理における特徴ベクトルの作り方と、性質
- オンライン学習, Perceptron, Passive Agressive (PA), Confidence Weighted Learning (CW) 確率的勾配降下法 (SGD)
- L1正則化, FOLOS
- 索引を用いた効率化, 全ての部分文字列を利用した文書分類

で、スライドで70枚ぐらい。今までの発表とかぶっていないのはPA CW SGD FOLOSあたりでしょうか

オンライン学習、L1正則化の話がメインになっていて、その両方の最終形の
確率的勾配降下法 + FOLOSの組み合わせは任意の損失関数に対してL1/L2正則化をかけながらオンライン学習をとても簡単にできるという一昔前では考えられない感じになってます。
昔なんで収束しないんだとがりがり巨大なGISとかL-BFGSとかの最適化ルーチンをかいてたのがつい最近だったのに。。進歩が早いですね

| | Comments (173) | TrackBack (1)

2009.03.10

web+db レコメンド特集 サンプルコード

- WEB+DBプレスの「[速習]レコメンドエンジン」のサンプルプログラムを訂正してみる

にあったように、WEB+DB PRESS 49号 レコメンド特集での誌上のサンプルプログラムに誤植があり、そのまま書くとコンパイルできないという問題がありました。

サンプルコードの修正をぎりぎりにお願いして、ゴミが残ってしまったのが原因です。
ご迷惑をみなさんにおかけしました。すいません。

WEB+DB PRESS Vol.49サポートページ

ここから、動かせるサンプルコード(Part3用のサンプルコードというところ)をダウンロードできるので、買った方も(そうでない方も?)参考にしてみてください。

以後、気を付けます。

| | Comments (366) | TrackBack (0)

ベンチャーの興し方 PFI編

ベンチャーの話を昨日、R2P IST 1周年記念シンポジウム [link]というところでしてきました。

発表資料 [pptx] [zip(pdf)]

Preferred Infrastructure (PFI)という会社をどのようにやってきたか、学生と会社の関係とかの話です。

話すこと前提で書いているのでパワポだけではちょっと話の流れが見えにくいかも。会場やその先の飲み会ではもうちょっと突っ込んだ話をして面白かったのだが、そこが書けないのが残念。直接聞いてください。

| | Comments (200) | TrackBack (0)

« February 2009 | Main | April 2009 »