樋口先生

いつもありがとうございます。

文書クラスター分析をする時、オプションで
・最小／最大　出現数による語の取捨選択で、
最小出現数を”２”に設定しました。
しかし、クラスターの結果(特徴)をみますと、語の出現が全体で１回の語も含まれています。
これはなぜでしょうか。
ためしに”１”でやってみましたが、クラスターに含まれる文書数は
”１”と”２”で大きく違っていました。
(たとえば、クラスター１の文書数が、”１”の場合は96、”２”の場合は24と、”２”では格段に減少。)
よって、何かが違うのだとは思うのですが、どのように違いは反映されているのでしょうか？

森田@京都

こんにちは、樋口です。書き込みありがとうございます。

「クラスターの結果（特徴）」というのは、おそらく「抽出語探索」画面で各
クラスターに特徴的な語をご覧になっているのだと思います。この「抽出語探
索」画面では、どのようにしてクラスター分析を行ったかには一切関知せず、
それぞれのクラスターに特徴な語（＝それぞれのクラスター内では出現確率が
高くなっている語）を検索しております。したがって、クラスター分析時に出
現回数1の語を除外した場合でも、「抽出語探索」画面では出現回数1の語がリ
ストアップされる場合があります。

設定（最小出現数）の違いは、クラスターの変化／グループ分けの変化として
反映されているのですが、それを確認する方法としては、各クラスターに分類
された文書を確認したり、あるいは各クラスターに特徴的な語を検索したりと
いった方法しか、今のところ思いつきません。

よろしくお願いいたします。