JZUG Wiki - JCodeSIG

JZUG JCode SIG

日本語がらみの問題を扱うワーキング・グループです。
メンバー：brian、[ats]?、mooya、cheeseshop、yasiyasi、tahara

2001/12/10 mooya - 参加したいと思います。使用してみた問題の提示などしかできませんが、、
- 2001/12/10 mojix - mooyaさんの名前を加えました。ぜひ積極的な参加をお願いします。このWGが実はいちばん重要だったりするので。
2001/12/10 cheeseshop - 少しくらいは役立てそうかな‥‥参加してみます。
- 2001/12/10 mojix - おっ、増えてきましたね。JCodeWGのファーストミッションは、やはりJSplitterのアップデートでしょう。
2002/01/09 yasiyasi - 呼ばれたので来てみました。私がやっていることは「誰かが丹精こめて作ってくれた素材を、四つ切にしてラップして店頭に並べる」だけのことなんですが（しかも、未だに並べる準備しかしてない（ヲイ））。こんな私でも、役に立ちますか？（汗）
- 2002/1/9 mojix - yasiyasiさん、もちろんですよ！JCodeWGは重要なWGなので、アピール役をぜひお願いします。

2001/12/11 mooya - JSplitter上での問題の報告。みなさんはどんなもんでしょうか？？
- rh7.1ではkconvがコンパイルエラーでビルドできず。（コンパイラのバグ？？）
- chasenの関数が一部名称変更のためソースを書き換える必要あり。
- 漢字変換に関して、kconvからJapaneseCodecsに変えたいとこですが、拡張EUCコードの問題でkconvから切り替えできない。(将来的には漢字のライブラリってどっち？？)
- あと、漢字一文字の場合、うまくカタログから検索できない。（英語圏では１文字での検索は無意味ということでしょう。これはZCatalogの問題か）
- これは、うちでだけの問題なのかわかりませんが、Zope2.3.3にて管理画面のデバッグボタンを押すと、デバッグ画面が出ないで必ず再起動してしまいます。Zope2.4系は、大丈夫なようです。（これはうちだけ？？）
2001/12/11 cheeseshop - すみません‥‥「拡張EUCコード」を知らないのですが、EUC-JPとはどう違うものなのでしょうか。
- 2001/12/11 mooyaです。EUC拡張文字？っていうんでしょうか、?とかの文字でJISX0213に入ってると思います。WindowsなどではWeb上から入力できてしまうため、JapaneseCodecsではこれらの文字を変換できずエラーになりました。kconvではOKでした。
  - cheeseshop - 了解、「EUC-JISX0213」ですね。kconvだと通ってしまうけど、JapaneseCodecsだとEUC-JPの意味が厳密になっちゃうんですね。後でちょっとソースいじってみます。
    - cheeseshop - 結構厄介かなあ‥‥
      http://www.m17n.org/m17n2000_all_but_registration/proceedings/kawabata/jisx0213.html
  - cheeseshop - ちなみに「拡張EUC」だと「拡張拡張UNIXコード」になってしまうので‥‥(^^;)
    - 2001/12/12 mooya でもこれらの文字ってほんとは使用してはいけないのかな？。macで見たら違う文字になってるし。ただエラーになるのは困る。
      - cheeseshop - 「charset=EUC-JP」と言っておきながら使ったら本当はダメでしょうね。「charset=ISO-2022-JP-3」「charset=X-EUC-JISX0213」とか言わなくちゃいけないんだろうけど、処理できるソフトあるのかな？
      - cheeseshop - モジュール内のエラーってトラップできませんでしたっけ?
  - brian - JapaneseCodecsって、まだPure Pythonのままですか？なら、EUC-JISX0213に対応するというのは簡単なはずですね。ちなみに最近の JSplitterは上記のコンパイルの問題でPerlのJcode.pmを使うように変えられたでしょうかね？何とかnative Pythonのソリューションにしたいきがします。
  - mooya - JapaneseCodecsは現在1.4.3でC言語バージョンになっています。ちょっと漢字コード勉強中
  - brian - 梶山さんに相談してみませんか？（もうちょっと調べてみたら、EUC-JISX0213は対応すべきかどうかって結構微妙なところがあると分かりました）後、ぜんぜん違う話ですけど、Splitterの中心はChasenしかないかな？ライブラリがマルチスレッドに対応していないのはちょっと痛い。
    - 2002/01/11 takano - 単にsplitしたいだけならkakasiでもよいのでは？たしか以前 ishimoto さんがKakasiSplitter試作版というのを流していたはずです。
  - 2001/12/13 mojix - JSplitterは日本のZopeユーザにとっておそらく核心部分なので、JapaneseCodecsの梶山さんや、JCodeSplitterのnortonさんなど、関係者はすべて巻き込んで、協力してもらえたらいいですね。
  - 2002/1/6 mooya - 正月明けに、直接、梶山さんに問題を提示しました。python-mlでそれらしき動きがみられるので、もしかするとJapaneseCodecsで行けるようになるかもしれません。会社のメールからだったので、返事が見れません、、が、たいへん期待してます。
  - 2002/1/8 mojix - Zopeの日本語関係ツールをぜんぶまとめたページ、ZopeJapaneseToolsを作成。Python関係も含めて、Zopeの日本語関係のツールを解説、リンクするページです。
  - 2002/1/9 takano - やっとこはいりました。ぜんぜんきがつかなかった…
  - 2002/3/4 mooya - ChasenTNG?というものを見つけました。通常のchasenの3,4倍の速さということです。ライブラリとして利用できるのですが、出力フォーマットがまだ自由になっていませんでした。kakasiはやはりノイズが多くて、chasenのように品詞解析したほうが良さそうですね。ChasenTNGの作者のくどうさんはたいへん親切な方で、また、このpython用ライブラリもあるようです。 (落としてきた中にはありませんでしたが、)どうでしょう、JSplitter用に協力を要請してみるというのは？　場所は　http://cl.aist-nara.ac.jp/~taku-ku/software/chasentng/　です。
  - 2002/3/15 mooya - 質問です。「　Pythonスレッドは、ほとんどすべてのPythonプログラマーのニーズに対応が可能だという特徴を持っている。Pythonスレッドは、システム操作の点ではプリエンプティブというよりも、むしろコオペレーティブである。このため、特定のPythonスレッドが、Python以外でコーディングされた演算を終わらせるまでの間、Pythonプロセス全体が止まってしまうことになる。」というのを記事で見つけたんですが、chasenのライブラリを使用する際、ロックをかけてますが、この間って、他のスレッドも全て停止してしまうと考えてよろしいのでしょうか？？再カタログ処理の際、なんか他のアクセス処理まで影響してるような気がするのですが、、
  - 2002/4/15 tahara - 参加します。
  - 2002/4/19 tahara - ChaSenTNG がいくつかの英文で落ちる。英語には対応していないんだから、仕方がないけど、どうにかしたい。
    - 2002/4/22 tahara - どうにかできたので、先日公開しました。
      http://www.din.or.jp/~pchi/JSplitter-0.2.tar.gz
      
      cvs が http://sourceforge.jp/projects/nikkiproduct/ にあります。
      - 2002/4/30 tahara - namazu を見ていて思ったんですが、上記の JSplitter で日本語の文章を品詞ごとに (今のところ名詞だけ) 分けて、インデックスを作ることはできます。が、検索時に与えられる文字列を品詞で区切ってはいません。この部分は、Splitter の範囲外で、ZCatalog の範囲になると思います。(あとは、略.....)
      - 2002/4/30 tahara 上で、長々と書いたんですが、どうやら ZCatalog って、検索キーワードも Splitter を使って、わかちしていますね...。ってことは、名詞だけをインデックスにするなんていうこともしなくていいのかな。せめて、ひらがなカタカナの一文字だけをインデックスにしないようにすればいい？
        
        2002/4/30 mooya 複数の人が検索するとどうも動きが鈍くなるので、Splitterは使われてると思ってました、、findでも使われるんで、デフォルトでJSplitterにセットするのはきついですね。
        
        2002/4/30 tahara やっぱり、そうでしたか。良く分りました。スピードを考えると、C で書かないといけないですかね、しかし find でも使われているんですか。find のどこで JSplitter をみつけているんだろうか。うむむ。
        
        2002/4/30 tahara もう一つ気掛りなことがあります。index 作成時のメモリの消費量がけっこうなものなんで、それが心配です。mooya さんは、たくさんのオブジェクトを検索することが良くあるようですが、そのへんはなにか問題がおきたこととかありますか？
        
        2002/05/01 tahara 再び、Namazu を見ていて思ったんですが、わかち書きには KAKASI か ChaSen? の Perl のモジュールを使っています。検索コマンドは C で書かれていますが、インデックス作成プログラムは Perl で書かれているんですね。上記のJSplitter に関しても、わかちには C で書かれた Python モジュールを使っていて、Splitter クラスだけを Python で書いているので、Splitter クラス自体を C で書いてもあんまりスピードはかわらないんじゃないかな..なんて思いました(?)ほんとうにそうなのかわからないので、近いうちにベンチマークを計ってみます...
        
        2002/05/02 mooya たくさんのオブジェクト検索する場合、ソートなど工夫しないとだめな感じです。inタグは使えなくなりますね。それでも少数のデータを取り出すのは１万件からでもまだまだいけるようです。
- 2002/05/10 tahara - ChaSenTNG の作者の工藤さんにある特定の英文でセグメント違反になることを報告しました。これを修正してもらったら、JSplitter も大助かり。結局は、ChaSenTNG に頼ってばっかりです。また出力フォーマットを自由に変更可能にする予定もあるそうです。公開されたら、JSplitter を改良しよう。
  - 2002/05/13 tahara - 工藤さんから頂いたパッチを適用した ChaSenTNG を使って英文で落ちなくなったのを確認。これで次にステップに安心していけます
- 2002/05/15 tahara - 全文検索エンジンについてすごく参考になるページ発見。
  - http://www.kusastro.kyoto-u.ac.jp/~baba/wais/other-system.html
- 2002/05/17 tahara - www.swig.org の生成したものに頼りたくないので、ChaSenTNG の Python モジュールを書く必要があるなと思う今日このごろ
  - 2002/05/18 tahara - ということで、さっそく書いてみたら、あっさり動きました。きちんと動作確認したら公開します。
  - 2002/05/18 6:30 takano - なんでswigだめですか？full SWIG状態なら、Perl-er や Ruby-erもシアワセになれると思うのですが…
  - 2002/05/18 13:42 tahara - 僕もはじめは、SWIG でいいと思っていたのですが、自作のモジュールを作ったら、SWIG よりも4〜6倍早く動きました。それに僕には SWIG のソースコードは読めないです。SWIG のコードは 1000 行だったんですが、僕は 100 行で必要な機能をモジュールにできました。このほうが良くないですか？
  - 2002/05/18 13:43 tahara - 手元の環境で、JSplitter が ZopeSplitter より早く動いているですが....。本当かな。なにかあやしい...。
    - 2002/05/23 tahara - 一定の回数を連続してわかちすると、None しか返さなくなっていました。そのせいで、ZopeSplitter よりも早くインデックスを作成していなんですね(^^;)。どうやら、ChaSenTNG のバグのよう(?)なので作者の工藤さんに報告しました。
- 2002/06/04 tahara - スプリッターで収集すべき品詞って、なんですかね？ChaSen の品詞番号で教えてくれてもいいし、品詞名でもいいです。とりあえず、名詞だけで十分な気もするんですけど
- 2002/06/05 tahara - とりあえず、 ChaSen? を使った JSplitter-0.2 を公開しました。試してみてください。はやく ChaSenTNG を使ってはやく処理できるようにしたいな。
  http://www.din.or.jp/~pchi/zope/

Last edited Sun, 10 Sep 2006 04:05:57 +0900 Edit this page