« 期待値最大化法などのあれこれ | Main | 2年目 »

2008.03.23

tx-0.09リリース

txをバージョンアップしました。

変更点は
・reverseLookup()
・サンプルプログラムにs2sbuild s2ssearchを追加

reverseLookupはtx固有のidから元のキーを復元するというものです。中で葉から親へ木を辿ってキーを復元してますのでキーをそのまま持つのよりは遅い(サイズ優先)

で、この機能を使ったプログラム例がs2sbuild, s2ssearchでこれらは、キーからキーへのマッピングを扱いたい場合の礼です。値がキー集合であり、キーだけじゃなく値も圧縮したい場合などが想定例です。

キーで使うキー集合と値はそれぞれtxで独立に圧縮保存されていて、マッピング自体は元のtxのid番号と値のtxのid番号のペアでもっています(キーと値が1対1対応でなくても良いように作ってあります)。
s2sbuildは辞書を作り(生成されるファイルは三つ),s2ssearchは入力列の全ての部分文字列に対しcommonPrefixSearchをかけ、それにヒットした値を全てを表示します。

例えば、読み方から表記へのマッピングが各行にtab区切りであるとき(ファイル名:yomi2hyoki)、サンプルプログラムを使った動作例は次の通りになります。

% ./head yomi2hyoki
あーうーおじゃままん アーウー・オジャママン
あーういんしょう アーウィン・ショウ
あーえすもなこ ASモナコ
あーえぬあーまいれーじくらぶ ANAマイレージクラブ
あーかーげー AKG
あーかーと アーカート
あーかーど アーカード
あーかーよんなな AK47
あーかいう゛ アーカイヴ

% ./s2sbuild yomi2hyoki y2hindex

% ./s2ssearch y2hindex
keyNum:174496 nodeNum:1620383
keyNum:195576 nodeNum:1530718
>どらごんくえすと
どらご ドラゴ
どらごん ドラゴン doragon dragon
どらごんくえすと ドラゴンクエスト ドラゴン・クエスト Dragon Quest ドラゴンクエスト
らごん ラゴン
ごん GON!
く クモハ313
くえすと クエスト クエスト
えす E’S 「S」 SP-NX502 es [es] es Es
すと 「スト」

これらはサンプルプログラムですので自分のアプリケーションにあわせ、s2sbuildとs2ssearchを書き直せばよいと思います。
で、入力と出力をそれぞれ圧縮した効果ですが、例えばはてなキーワードは、合計で入力と同じサイズぐらい。

% ls -lh yomi2hyoki
-rw-r--r-- 1 hillbig hillbig 7.7M 2008-03-23 03:46 yomi2hyoki
% ls -lh y2hindex*
-rw-r--r-- 1 hillbig hillbig 2.4M 2008-03-23 03:51 y2hindex.1
-rw-r--r-- 1 hillbig hillbig 1.6M 2008-03-23 03:52 y2hindex.12
-rw-r--r-- 1 hillbig hillbig 2.3M 2008-03-23 03:52 y2hindex.2

マッピングテーブル(y2hindex.12)がナイーブな実装でちょっと冗長。

|

« 期待値最大化法などのあれこれ | Main | 2年目 »

Comments

2019超人気ブランドコピー最新作ブランドコピー最高品質時計!
ルイヴィトン、シャネル、グッチ、エルメス、クロエ、プラダ、 ブルガリ、ロレックス、カルテ
ィエ 、オメガ偽物(コピー商品)のブランドのバッグ、財布、腕時計の販売、通販。
◆ スタイルが多い、品質がよい、価格が低い!
● N品質 シリアル付きも有り 付属品完備!
◆ 必ずご満足頂ける品質の商品のみ販売しております.
● 品質を最大限本物と同等とする為に相応の材質にて製作している為です.
◆ 絶対に満足して頂ける品のみ皆様にお届け致します.
人気の売れ筋商品を多数取り揃えております。
全て激安特価でご提供.お願いします.
2019年の新素材-新作!
LOUIS VUITTON 、エルメス 、時計
高品質の追求、品質保証、超N品を良心価格で提供します!
信用第一、良い品質、低価格は
当社の商品は絶対の自信が御座います。
税関没収する商品は再度無料で発送します。
送料無料(日本全国) 100%品質保証!満足保障!
腕時計ショップ https://www.yuku006.com/

Posted by: 腕時計ショップ | 2020.06.19 04:44 AM

Post a comment



(Not displayed with comment.)




TrackBack


Listed below are links to weblogs that reference tx-0.09リリース:

« 期待値最大化法などのあれこれ | Main | 2年目 »