Re: 大きい容量のデータの多変量解析 (HIGUCHI Koichi) KH Coder 旧掲示板
[ツリー表示] [留意事項] [ワード検索] [過去ログ]

  [No.1740] Re: 大きい容量のデータの多変量解析 投稿者:HIGUCHI Koichi  投稿日:2014/07/05(Sat) 03:29:36

こんにちは、樋口です。書き込みありがとうございます。

表示されているのは、SSD/HDDではなく、メモリ(RAM)が不足しているという
エラーです。現在扱っていらっしゃるデータ容量ですと、KH Coder上での(R
を使った)多変量解析は難しそうです。

先に挙げたFAQ項目では、ケース数/文書数として10,000を推奨していますが、
そこまで減らさないまでも、せめて100,000まで減らしていただかないと、KH
Coder上での多変量解析は難しいです。


解決策として、一番お勧めなのは、ランダム・サンプリングによって文書数を
100,000程度まで減らしていただくことです。


この方法をとれない場合には、(FAQにも書いていますが)KH Coderから「文
書×抽出語」表を出力して、この表を他の統計ソフトウェアに読み込んで解析
を行うという手があるかもしれません。この規模のデータを扱える統計ソフト
ウェアをお使いいただけば、なんとかなるだろうと思います。

あるいは、KH Coderのソースコードをダウンロードした上で、64bit版のPerl
を別途ご準備いただくという方法もあります。現在のWindows版パッケージに
は32bit版のPerlを同梱しています。このため、いくら物理メモリを積んでい
ても2GBまでしか使用できません。64bit版のPerlをご準備いただけば、この
2GBの壁を越えることができます。ただ、搭載している物理メモリを使い切っ
てしまった場合は同じエラーになるのですが…。


- 関連一覧ツリー (■ をクリックするとツリー全体を一括表示します)