樋口先生

はじめまして、TTMと申します。
テキストマイニングに関しては全くの初心者なのですが、
先生のKHCoderのおかげで、試行錯誤しながらチャレンジしております。
素晴らしいプログラムを公開して頂き、ありがとうございます！！

ネット上のテキストを分析したいのですが、
デフォルトの辞書ですと固有名詞や新語が十分に分析できないため、
はてなキーワードやwikipediaなどの登録語を辞書に登録したいと考えています。

いろいろと調べて、ChaSenへの辞書登録の方法やフォーマットなどは大体分かったのですが、
元となるデータをそのフォーマットに整形することができず苦慮しております。
（ネット上の情報ですと、皆さんご自身で整形用のプログラムなどを作られて行っているようです）

元データは下記で用意できたのですが・・・
http://d.hatena.ne.jp/hatenadiary/20060922/1158908401
http://ja.wikipedia.org/wiki/Wikipedia%3A%E3%83%87%E3%83%BC%E3%82%BF%E3%83%99%E3%83%BC%E3%82%B9%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89

KHCoder本体についての質問でなくて恐縮なのですが、
何かヒントとなることでもアドバイス頂ければ幸いです。
お忙しいところ恐縮ですが、何卒よろしくお願い申し上げます。

樋口先生

お忙しい中にもかかわらず、早速のご丁寧なご回答ありがとうございました。

実は、エクセルでの編集にトライしたのですが、私が持っているバージョンが古かったために、データの行が多すぎて開けず、そこでストップしてしまっていました。
調べてみたところ、エクセル最新版やオープンオフィスでは100万行まで開けるそうなのでトライしてみたいと思います。

ありがとうございました！！


P.S.
ちなみに、「前処理」の「強制抽出する語」の指定も使っているのですが、もともと「未知語」として登録されているものの場合は、強制抽出の設定をしても品詞分類上「タグ」になるわけではないという理解でよろしいでしょうか？
「未知語」には顔文字の一部などが分類されるので、共起ネットワーク分析などの際は、「未知語」を対象から外しているのですが、そうすると「強制抽出語」の一部も外れてしまうので、そのあたりもあって辞書追加をしておこうかと思った次第です。
「前処理」の段階で、「未知語」を外した上で、「強制抽出する語」に指定すれば良いのかとは思いますが。。。

こんにちは、樋口です。書き込みありがとうございます。

> もともと「未知語」として登録されているものの場合は、強制抽出の設定を
> しても品詞分類上「タグ」になるわけではない

いえ、「タグ」として取り出されるハズです。

強制抽出するよう指定した語が見当たらない場合は、指定の順序をご確認くだ
さい。
http://okwave.jp/qa/q7271907.html

それでも「タグ」として出てこない場合はバグかと思います。