[Ludia-users 138] Re: 形態素インデックスで投入に1秒以上かかります

Zurück zum Archiv-Index

Shunsuke Tanaka tanak****@nttda*****
2007年 11月 26日 (月) 11:37:23 JST


田中です。

投入の試験に時間がかかってしまい、
久しぶりの投稿になってしました。すみません。

Linuxカーネルを新しいものにした結果、
形態素インデックスで80万件投入したところで、
以下のエラーが出て投入できなくなるようになりました。

LOG:  pgsenna2: |A| mmap(361496576,40,0)=(null) <5705665>
LOG:  pgsenna2: |A| io_win_map(45053, 361262397) failed!!
ERROR:  pgsenna2: sen_index_update failed 1,0

投入できなくなったとき、一番メモリを使っていた
postgres: postgres ludiatestdb [local] INSERT
というプロセスのメモリ使用量は以下の通りでした。
VSZ 1457004
RSS  681952

postgresql.confの設定は以下の通りです。
shared_buffers = 24MB
ludia.initial_n_segments = 2048

ソフトウェアのバージョンは以下の通りです。
Ludia 1.3.1
Senna 1.0.9
mecab 0.96
mecab-ipadic 2.7.0 20070801
PostgreSQL 8.2.4
Fedora Core 2 (32bit版)
Linux Kernel 2.6.23.1

使用したハードウェアは以下の通りです。
Dell Precision 470
CPU:  Xeon 2.8GHz × 2
Memory:  2Gbyte
HDD:  SATA 400Gbyte  7200rpm


なお、shared_buffers = 512MB でもやってみたのですが、
40万件投入したところでOSがハングアップしました。


今までのメールを読んで、できることはしましたが、
まだ何か可能性がある方法がありましたら、ご意見をお願いします。




Ludia-users メーリングリストの案内
Zurück zum Archiv-Index