Re: KHコーダー3での英語データ前処理に関するエラーについて (HIGUCHI Koichi) KH Coder 旧掲示板
[ツリー表示] [留意事項] [ワード検索] [過去ログ]

  [No.3545] Re: KHコーダー3での英語データ前処理に関するエラーについて 投稿者:HIGUCHI Koichi  投稿日:2018/03/15(Thu) 00:32:05

こんにちは、樋口です。書き込みありがとうございます。

一度に一歩ですが、着実に進んではいるようですね。

> xls形式でFreeLingの前処理ももちろん試してみましたが、
> なぜか前処理が終わりません。

Stanford POS Taggerよりも時間がかかるのは通常の現象です。異常ではあり
ません。

タスクマネージャーを起動して、CPU使用率を見てみると、どんな感じでしょ
う? 前処理開始によってCPU使用率がある程度(※1)上がり、その状態が続
くようなら正常です。CPU使用率が0付近のままになり、それでも処理が終わら
なかったら異常です。この場合は、コンソール画面を見せていただけると何か
分かるかもしれません。また、この事象が発生した場合、一度Windowsを再起
動してお試しいただくとよいかもしれません。

※1 仮に論理プロセッサ数が8のCPUであれば、100 ÷ 8 ≒ 12.5%程度まで
CPU使用率が上がれば正常です。


> 同じ単語が2度あらわれる当初の問題

もっとも、FreeLingにすれば必ずこれが解決するかどうかはなんとも言えない
ところではあります。抽出語リスト上でvisitを検索し、2種類(名詞と動詞)
をクリックするとそれぞれのKWICが出ますので、ご覧いただくといかがでしょ
う? Stanford POS Taggerが間違って2種類に分けてしまっているのでしょう
か? それとも実際に動詞と名詞があるのでしょうか? もし後者だとすると
FreeLingでも同じ結果になる恐れはあります。


- 関連一覧ツリー (■ をクリックするとツリー全体を一括表示します)