From kousakadi ＠ nttdata.co.jp Fri Jun 1 15:24:54 2007 From: kousakadi ＠ nttdata.co.jp (kousakadi ＠ nttdata.co.jp) Date: Fri, 1 Jun 2007 15:24:54 +0900 Subject: [Ludia-users 47] =?iso-2022-jp?b?THVkaWEgMS4xLjAbJEIkciVqJWohPCU5JDckXiQ3JD8bKEI=?= Message-ID: <178CD7FD87EF4B4BB23F3D0B6C201D3F02B71A9E@MAILSV11.msg.nttdata.co.jp> こんにちは。 幸坂です。 本日「Ludia ver.1.1.0」をリリースしました！ 「Ludia Ver.1.1.0」の変更点は以下の通りです。 (1) VACUUM対応 　　concurrent VACUUM, FULL VACUUM両方に対応しました。 　　Auto VACUUMも使用可です。 (2) senna.confの使用廃止 　　senna.confで設定していたINITIAL_N_SEGMENTSは、 　　postgresql.confで設定可能となります。 (3) Ludiaの設定を行わない場合は、デフォルト値を使用。 　　ludia.max_n_sort_result = 10000　などの設定を省略した場合、 　　デフォルト値が使用されます。 　　(custom_variable_classes = 'ludia'　の記述は必須です。) (4) Ludiaの設定を参照する関数の追加。 　　pgs2getoption関数を用いて、Ludiaの設定を確認できます。 (5) 使用しているSennaのバージョンを参照する関数の追加 　　pgs2seninfo関数を用いて、Sennaのバージョンを確認できます。 (6) バグ修正 　　pgs2pdftotext1,2のバグ修正 　　FreeBSDでのMAKE不具合修正 (7) TextPorter API対応 　　オフィスファイルなどのLudiaインデックスを作成することができます。 　　TextPorterは同梱されませんので、アンテナハウス様にお問い合わせください。 詳細はREADMEをご覧ください。 要望、不具合等ありましたら、このメーリングリストにご投稿ください。 よろしくお願いします。 From yama ＠ scaleout.jp Wed Jun 13 10:49:19 2007 From: yama ＠ scaleout.jp (Daisuke Yamazaki) Date: Wed, 13 Jun 2007 10:49:19 +0900 Subject: [Ludia-users 48] =?iso-2022-jp?b?THVkaWExLjEuMBskQiROGyhCVkFDVVVNGyRCQlAxfiRLGyhC?= =?iso-2022-jp?b?GyRCJEQkJCRGGyhC?= Message-ID: <20070613104157.0C3A.YAMA@scaleout.jp> こんにちは.スケールアウトの山崎と申します. Ludia1.1.0のリリースお疲れ様でした.早速質問があります. > (1) VACUUM対応 > 　　concurrent VACUUM, FULL VACUUM両方に対応しました。 > 　　Auto VACUUMも使用可です。 これは結果としてvacuumに伴うreindexを行わなくてよくなったと いう理解でいいでしょうか? 以上,よろしくお願いします. -- 株式会社 スケールアウト Daisuke Yamazaki Blog：最速配信研究会 http://d.hatena.ne.jp/yamaz/ From kousakadi ＠ nttdata.co.jp Wed Jun 13 11:10:04 2007 From: kousakadi ＠ nttdata.co.jp (kousakadi ＠ nttdata.co.jp) Date: Wed, 13 Jun 2007 11:10:04 +0900 Subject: [Ludia-users 49] Re: =?iso-2022-jp?b?THVkaWExLjEuMBskQiROGyhCVkFDVVVNGyRCQlAbKEI=?= =?iso-2022-jp?b?GyRCMX4kSyREJCQkRhsoQg==?= In-Reply-To: <20070613104157.0C3A.YAMA@scaleout.jp> References: <20070613104157.0C3A.YAMA@scaleout.jp> Message-ID: <178CD7FD87EF4B4BB23F3D0B6C201D3F02B71AC5@MAILSV11.msg.nttdata.co.jp> 山崎さん こんにちは、幸坂です。 ブログでLudiaの宣伝ありがとうございます。 > これは結果としてvacuumに伴うreindexを行わなくてよくなったと > いう理解でいいでしょうか? はい、そうです。 ぜひ、VACUUMをご活用ください。 > -----Original Message----- > From: ludia-users-bounces ＠ lists.sourceforge.jp > [mailto:ludia-users-bounces ＠ lists.sourceforge.jp] On Behalf > Of Daisuke Yamazaki > Sent: Wednesday, June 13, 2007 10:49 AM > To: ludia-users ＠ lists.sourceforge.jp > Subject: [Ludia-users 48] Ludia1.1.0のVACUUM対応について > > こんにちは.スケールアウトの山崎と申します. > > Ludia1.1.0のリリースお疲れ様でした.早速質問があります. > > > (1) VACUUM対応 > > 　　concurrent VACUUM, FULL VACUUM両方に対応しました。 > > 　　Auto VACUUMも使用可です。 > > これは結果としてvacuumに伴うreindexを行わなくてよくなったと > いう理解でいいでしょうか? > > 以上,よろしくお願いします. > -- > 株式会社 スケールアウト > Daisuke Yamazaki > Blog：最速配信研究会 > http://d.hatena.ne.jp/yamaz/ > > _______________________________________________ > Ludia-users mailing list > Ludia-users ＠ lists.sourceforge.jp > http://lists.sourceforge.jp/mailman/listinfo/ludia-users > From sh.kawamura ＠ gmail.com Wed Jun 13 14:51:10 2007 From: sh.kawamura ＠ gmail.com (Shingo Kawamura) Date: Wed, 13 Jun 2007 14:51:10 +0900 Subject: [Ludia-users 50] =?iso-2022-jp?b?THVkaWEbJEIkThsoQldpbmRvd3MbJEJCUDF+JEskRCQkGyhC?= =?iso-2022-jp?b?GyRCJEYbKEI=?= Message-ID: <005f01c7ad7e$da0147b0$3600a8c0@public.local> お世話になっております。河村です。 現在、Ludia1.0.0をWindowsで動かそうとしています。 コンパイルに関しましては http://www.doblog.com/weblog/myblog/74336/23#23 を参考に行ったところ、DLLの作成は行えたのですが、 一部関数の機能をバッサリ削っているため、完全な移植が出来ていない状況です。 現状、Windows移植時に修正が必要な箇所は、上記ブログでご指摘されている箇所を除くと、 ・opendir()などでディレクトリ操作を行っている箇所(例:pgs2destroy()など) ・sen_log()を呼び出している箇所でフォーマットに%fを使っている箇所(sennaのvsnprintf()で落ちます…) #他にもまだあるかもしれませんが… くらいと思いますが、今後移植される予定等はありますでしょうか？ 特にディレクトリ操作に関しましては、Windows用の関数(使うとしたら_findfirst()でしょうか) に置き換えねばなりませんが、もし雛形等がございましたら、公開いただけないでしょうか？ From iwasakims ＠ nttdata.co.jp Mon Jun 18 12:27:06 2007 From: iwasakims ＠ nttdata.co.jp (iwasakims ＠ nttdata.co.jp) Date: Mon, 18 Jun 2007 12:27:06 +0900 Subject: [Ludia-users 51] Re: =?iso-2022-jp?b?THVkaWEbJEIkThsoQldpbmRvd3MbJEJCUDF+JEsbKEI=?= =?iso-2022-jp?b?GyRCJEQkJCRGGyhC?= In-Reply-To: <005f01c7ad7e$da0147b0$3600a8c0@public.local> References: <005f01c7ad7e$da0147b0$3600a8c0@public.local> Message-ID: 岩崎です。 > くらいと思いますが、今後移植される予定等はありますでしょうか？ ブログにあるようなMinGWのgccを利用したビルドについては - ソースコードをifdefで整理 - それ用のMakefileをつけておく という感じでビルドしやすくしたいと思っています。 それ以上の細かい対応については、 PostgreSQLは8.3からビルド環境がMSVCに移行するようなので、 それを見越して行いたい感じです。 > 特にディレクトリ操作に関しましては、 > Windows用の関数(使うとしたら_findfirst()でしょうか) > に置き換えねばなりませんが、 > もし雛形等がございましたら、公開いただけないでしょうか？ 雛形はないのですが、、 PostgreSQLのWindows対応用パーツを利用すれば、 比較的楽に対応できるのではないかと思っています。 (たとえば、以下のコードなど) src/include/port/win32_msvc/dirent.h src/port/dirent.c From sh.kawamura ＠ gmail.com Tue Jun 19 10:02:27 2007 From: sh.kawamura ＠ gmail.com (Shingo Kawamura) Date: Tue, 19 Jun 2007 10:02:27 +0900 Subject: [Ludia-users 52] Re: =?iso-2022-jp?b?THVkaWEbJEIkThsoQldpbmRvd3MbJEJCUDF+JEsbKEI=?= =?iso-2022-jp?b?GyRCJEQkJCRGGyhC?= References: <005f01c7ad7e$da0147b0$3600a8c0@public.local> Message-ID: <000a01c7b20d$82d40340$3600a8c0@public.local> 岩崎様 河村です。お世話になっております。 お返事ありがとうございます。 > ブログにあるようなMinGWのgccを利用したビルドについては > > - ソースコードをifdefで整理 > - それ用のMakefileをつけておく > > という感じでビルドしやすくしたいと思っています。 > > それ以上の細かい対応については、 > PostgreSQLは8.3からビルド環境がMSVCに移行するようなので、 > それを見越して行いたい感じです。 そうですね。Makefileがあれば少し敷居は下がるかと思います。 今後ソースファイルが増えるようになると、リンクさせるのでも苦労しそうですし。 > 雛形はないのですが、、 > PostgreSQLのWindows対応用パーツを利用すれば、 > 比較的楽に対応できるのではないかと思っています。 > (たとえば、以下のコードなど) > > src/include/port/win32_msvc/dirent.h > src/port/dirent.c 上記パーツを流用すれば、少なくともpgs2destroy()は移植出来そうですね。 運用するとなると、少なくともpgs2destroy()はあったほうがよいので、 ひとまずはこれで応急処置することを検討したいと思います。 ----- Original Message ----- From: To: Sent: Monday, June 18, 2007 12:27 PM Subject: [Ludia-users 51] Re:LudiaのWindows対応について > 岩崎です。 > > >> くらいと思いますが、今後移植される予定等はありますでしょうか？ > > ブログにあるようなMinGWのgccを利用したビルドについては > > - ソースコードをifdefで整理 > - それ用のMakefileをつけておく > > という感じでビルドしやすくしたいと思っています。 > > それ以上の細かい対応については、 > PostgreSQLは8.3からビルド環境がMSVCに移行するようなので、 > それを見越して行いたい感じです。 > > >> 特にディレクトリ操作に関しましては、 >> Windows用の関数(使うとしたら_findfirst()でしょうか) >> に置き換えねばなりませんが、 >> もし雛形等がございましたら、公開いただけないでしょうか？ > > 雛形はないのですが、、 > PostgreSQLのWindows対応用パーツを利用すれば、 > 比較的楽に対応できるのではないかと思っています。 > (たとえば、以下のコードなど) > > src/include/port/win32_msvc/dirent.h > src/port/dirent.c > > _______________________________________________ > Ludia-users mailing list > Ludia-users ＠ lists.sourceforge.jp > http://lists.sourceforge.jp/mailman/listinfo/ludia-users From kousakadi ＠ nttdata.co.jp Fri Jun 22 11:22:47 2007 From: kousakadi ＠ nttdata.co.jp (kousakadi ＠ nttdata.co.jp) Date: Fri, 22 Jun 2007 11:22:47 +0900 Subject: [Ludia-users 53] =?iso-2022-jp?b?GyRCIVokKjRqJCQhW0RJMkM1IUc9JE5NV0s+ISJFLE1RGyhC?= =?iso-2022-jp?b?GyRCO3ZOYyRyNjUkKCRGJC8kQCQ1JCQbKEI=?= Message-ID: <178CD7FD87EF4B4BB23F3D0B6C201D3F02B71AE8@MAILSV11.msg.nttdata.co.jp> こんにちは。NTTデータ 幸坂です。 Ludia_usersの皆様、Ludiaのご活用ありがとうございます。 現在、開発チームは追加機能の開発、PostgreSQL8.3対応、 SI案件への適用を行っております。 今回、Ludia_usersの皆様に2点ほどお願いがあります。 1点目は、Ludiaの適用事例をご紹介いただきたいということです。 Ludiaの適用事例を集約することで、システム開発時にLudiaを ご提案なさる際の有用な情報となるかと思います。 また、適用事例が増えていけば、弊社としてはより力を入れて 開発に取り組むことができるようになるかと思います。 2点目は、追加機能のご要望を教えていただきたいということです。 実際に使っていらっしゃる皆様が必要と感じる機能について、 その必要性・実現性を検討し、可能であればLudiaに組み込んで いきたいと考えております。 ご協力していただける方は、以下のフォームに記入し、 kousakadi(at)nttdata.co.jp にご送付ください。 Ludiaの今後の発展のため、よろしくお願いします。 --------------------ここから---------------- Q1. Ludiaをどのような用途で導入(検討)しましたか？ 1. 自社サービス 2. 自社パッケージ製品への組み込み 3. 社内システム 4. 社外SI 5. その他 A1. [ ] Q2. Q1でご回答いただいたパッケージ、システムを 適用事例としてWebサイト等で公開してもよろしいでしょうか？ 1. はい 2. いいえ 3. 場合による(解答欄に具体的にご記入ください。) A2. [ ] Q3. Ludiaを導入するうえで問題となった点や、 追加機能の要望等お知らせください。 A3. [ ] ------------------以下、回答例-------------- A1(回答例). [ 2. 自社パッケージ製品への組み込み （PG_Ludia(仮)という製品への組み込み。現在、開発中) ] A2(回答例). [ 2. いいえ(NTTデータ社内での情報共有であれば問題ない) ] A3(回答例). [ 早くPostgreSQL8.3に対応してもらいたい。 　　　　　　　SennaのログとPostgreSQLのログを統合してもらいたい。 　　　　　　　Windows対応してもらいたい。 　　　　　　　性能評価した結果を知りたい。 ] ------------------------------------------ From haward99 ＠ yahoo.co.jp Sat Jun 23 01:49:37 2007 From: haward99 ＠ yahoo.co.jp (Watanabe) Date: Sat, 23 Jun 2007 01:49:37 +0900 Subject: [Ludia-users 54] Re: =?iso-2022-jp?b?GyRCIVokKjRqJCQhW0RJMkM1IUc9JE5NV0s+ISIbKEI=?= =?iso-2022-jp?b?GyRCRSxNUTt2TmMkcjY1JCgkRiQvJEAkNSQkGyhC?= In-Reply-To: <178CD7FD87EF4B4BB23F3D0B6C201D3F02B71AE8@MAILSV11.msg.nttdata.co.jp> References: <178CD7FD87EF4B4BB23F3D0B6C201D3F02B71AE8@MAILSV11.msg.nttdata.co.jp> Message-ID: 渡辺です。 ふと思ったのですが、N-Gram対応ってどうなのでしょう？ Sennnaが純粋なN-Gramも使えるよとうたっているので 大丈夫だとは思うのですが、 インデックス容量の肥大化とかインデックス作成時間の増大具合とかに 関する情報が少なくて。 実際問題、辞書のメンテナンスなんてしていられないので、 少々高価なハードウェアを買ってでも純粋N-Gramを 使いたいなあと思っております。 From tanakamasayuki ＠ gmail.com Sat Jun 23 10:17:47 2007 From: tanakamasayuki ＠ gmail.com (TANAKA Masayuki) Date: Sat, 23 Jun 2007 10:17:47 +0900 Subject: [Ludia-users 55] Re: =?iso-2022-jp?b?GyRCIVokKjRqJCQhW0RJMkM1IUc9JE5NV0s+ISIbKEI=?= =?iso-2022-jp?b?GyRCRSxNUTt2TmMkcjY1JCgkRiQvJEAkNSQkGyhC?= In-Reply-To: References: <178CD7FD87EF4B4BB23F3D0B6C201D3F02B71AE8@MAILSV11.msg.nttdata.co.jp> Message-ID: <83d5f030706221817t6e5c3b21k3726628ddc32ef59@mail.gmail.com> こんにちはたなかです > ふと思ったのですが、N-Gram対応ってどうなのでしょう？ > Sennnaが純粋なN-Gramも使えるよとうたっているので > 大丈夫だとは思うのですが、 http://d.hatena.ne.jp/tasukuchan/20070323 上記のページが参考になると思います。 Sennaは対応していますが、MySQLバインディングは現在 対応していないのかな？ Tritonn は利用していないのでわからないですが、昔のでは この辺の動作にひっかかります Ludia でも標準パラメーターだとひっかかると思います > 実際問題、辞書のメンテナンスなんてしていられないので、 > 少々高価なハードウェアを買ってでも純粋N-Gramを > 使いたいなあと思っております。 私のまわりの利用例でも、N-GRAMが多いと思います ノイズよりも検索もれの方がいやですね あとはPostgreSQLの利点を生かしてCE（継承）を使う 手もあると思います 月や年ごとのテーブルを分割すると、結構パフォーマンスが あがります ※検証済み（年２万件のPDFを２０年分ぐらいだったような、、、） ただし親を選択して、全体に対して検索しようとすると 同時インデックス利用制限で落ちます（涙） ※検証済み 頻繁に検索されるテーブルは通常のインデックスサイズで 古いデータとかは小さくするなどすればいいのかもしれない ですね。。。 ※すみません、検証できていません たなか From kousakadi ＠ nttdata.co.jp Tue Jun 26 11:08:21 2007 From: kousakadi ＠ nttdata.co.jp (kousakadi ＠ nttdata.co.jp) Date: Tue, 26 Jun 2007 11:08:21 +0900 Subject: [Ludia-users 56] Re: =?iso-2022-jp?b?GyRCIVokKjRqJCQhW0RJMkM1IUc9JE5NV0s+ISIbKEI=?= =?iso-2022-jp?b?GyRCRSxNUTt2TmMkcjY1JCgkRiQvJEAkNSQkGyhC?= In-Reply-To: <83d5f030706221817t6e5c3b21k3726628ddc32ef59@mail.gmail.com> References: <178CD7FD87EF4B4BB23F3D0B6C201D3F02B71AE8@MAILSV11.msg.nttdata.co.jp> <83d5f030706221817t6e5c3b21k3726628ddc32ef59@mail.gmail.com> Message-ID: <178CD7FD87EF4B4BB23F3D0B6C201D3F02B71AF0@MAILSV11.msg.nttdata.co.jp> こんにちは。幸坂です。 > > ふと思ったのですが、N-Gram対応ってどうなのでしょう？ fulltextbをご利用ください。 fulltextb＝N-gram、　fulltext=形態素解析、　fulltextu＝ユーザ定義です。 詳細はREADMEを参照してください。 > 同時インデックス利用制限で落ちます（涙） 1クエリー内で同時にludia.max_n_index_cacheより多くのインデックスを 使用すると、落ちます（涙） postgresql.confのludia.max_n_index_cacheの値を大きくしてください。 ludia.max_n_index_cacheの値はLudia1.0.0以降で設定可能です。 落ちるのはバグなので、Ludia1.2.0からは修正します。 > 私のまわりの利用例でも、N-GRAMが多いと思います > ノイズよりも検索もれの方がいやですね なるほど、参考になります。 引き続き「追加機能の要望、適用事例」を募集しております。 よろしくお願いします。 > -----Original Message----- > From: ludia-users-bounces ＠ lists.sourceforge.jp > [mailto:ludia-users-bounces ＠ lists.sourceforge.jp] On Behalf > Of TANAKA Masayuki > Sent: Saturday, June 23, 2007 10:18 AM > To: ludia-users ＠ lists.sourceforge.jp > Subject: [Ludia-users 55] Re:【お願い】追加機能の要望、適用事例を教えてく ださい > > こんにちはたなかです > > > ふと思ったのですが、N-Gram対応ってどうなのでしょう？ > > Sennnaが純粋なN-Gramも使えるよとうたっているので > > 大丈夫だとは思うのですが、 > > http://d.hatena.ne.jp/tasukuchan/20070323 > 上記のページが参考になると思います。 > > Sennaは対応していますが、MySQLバインディングは現在 > 対応していないのかな？ > > Tritonn は利用していないのでわからないですが、昔のでは > この辺の動作にひっかかります > > Ludia でも標準パラメーターだとひっかかると思います > > > 実際問題、辞書のメンテナンスなんてしていられないので、 > > 少々高価なハードウェアを買ってでも純粋N-Gramを > > 使いたいなあと思っております。 > > 私のまわりの利用例でも、N-GRAMが多いと思います > ノイズよりも検索もれの方がいやですね > > あとはPostgreSQLの利点を生かしてCE（継承）を使う > 手もあると思います > > 月や年ごとのテーブルを分割すると、結構パフォーマンスが > あがります > > ※検証済み（年２万件のPDFを２０年分ぐらいだったような、、、） > > ただし親を選択して、全体に対して検索しようとすると > 同時インデックス利用制限で落ちます（涙） > > ※検証済み > > 頻繁に検索されるテーブルは通常のインデックスサイズで > 古いデータとかは小さくするなどすればいいのかもしれない > ですね。。。 > > ※すみません、検証できていません > > たなか > > _______________________________________________ > Ludia-users mailing list > Ludia-users ＠ lists.sourceforge.jp > http://lists.sourceforge.jp/mailman/listinfo/ludia-users >