Re: ベイズ学習による分類−外部学習から学習 (HIGUCHI Koichi) KH Coder 旧掲示板
[ツリー表示] [留意事項] [ワード検索] [過去ログ]

  [No.1152] Re: ベイズ学習による分類−外部学習から学習 投稿者:HIGUCHI Koichi  投稿日:2012/10/16(Tue) 23:07:45

こんにちは、樋口です。書き込みありがとうございます。

この機能は私自身を含めて、やや利用実績が少ないので、機能もマニュアルも
未成熟な部分も多いかと思います。

> 「正解」は、どの処理で参照しているのでしょうか?
> 「学習用」「正解」という変数名は予約語であり、他の変数名ではいけない
> のでしょうか?
> 「学習用」の1種類のデータしかないとすれば、学習処理はできないのでし
> ょうか?

チュートリアルでは、「学習用」変数をもとに学習して、その結果を*.knbフ
ァイルに保存しています。そして、その学習結果(*.knb)を使った自動分類
の結果を、「自動分類」変数に保存しています。

そして、「自動分類」がどの程度成功したかという答え合わせのために、「正
解」を使っています。この答え合わせにはコーディングルール「bayes_check.
txt」を使っています。この中身を見ていただけば、「<>自動分類-->上 and
<>正解-->上」のような場合、すなわち「自動分類」変数の値が「上」でなお
かつ「正解」変数の値も「上」のような場合には、「*分類成功」として数え
るようになっています。

この答え合わせ用のコーディングルール「bayes_check.txt」をそのまま使用
する場合には、「正解」「自動分類」という変数名を使わねばなりません。そ
れ以外の場合は、別にどんな名前の変数でも問題ありません。

※このチュートリアルでは、2-foldでの交差妥当化(cross-validation)を手
動で行っているようなものです。実利用の場面では、「外部変数から学習」コ
マンドで「交差妥当化を行う」にチェックを入れれば、k-foldの交差妥当化を
自動で行えます。ここにチェックが入ると、学習結果をファイルに保存した上
で、別途に交差妥当化が行われます。(別コマンドに独立させた方が分かりや
すかったかもしれないですね…)


> メニュー【ベイズ学習による分類】−【学習結果を用いた自動分類】の画面
> において、変数名に未だ使用されていない変数を設定して、「分類ログを
> ファイルに保存」にチェックを入れて、処理をすると、「指定された名前の
> 変数がすでに存在します」とメッセージが出力されます。
>
> 一方、「分類ログをファイルに保存」にチェックを入れなければ、上記メッ
> セージは表示されません。

だいぶ試したのですが、手元ではこの現象を再現できませんでした。もし、再
現の助けになりそうな詳しい手順などありましたら、お教えください。外部変
数と見出しのリスト画面を一度閉じて、再度開くと、変数が見えるとかあるで
しょうか。

> 最小出現数が1、最小文書数が3

確かにおっしゃる通りなのですが、まぁ、ここは、「出現数による選択はせず、
文書数のみで語を選択した」ものとお考えいただければ幸いです。

> メニュー【外部変数と見出し】【読み込み】【csv】で、既に読み込んだ
> ファイルがある場合には、変数の上書きを確認するメッセージが表示されま
> す。
>
> これを避けるために、既に読み込んだ外部変数ファイルを削除したい場合に
> は、どのような操作をすればよろしいのでしょうか?

【外部変数と見出し】【リスト】画面で、変数を選択し、「削除」ボタンをク
リックして下さい。

ただし、もしも同じ内容の変数であれば、再度読み込みをしていただく必要は
無いかと存じます。


機能もマニュアルも未成熟なので、なかなか伝わりにくいと思うのですが、以
上の記述から多少ともコマンドの意図が伝わりますでしょうか。


- 関連一覧ツリー (■ をクリックするとツリー全体を一括表示します)