[掲示板へもどる]
一括表示

  [No.1729] Rを用いた描画に失敗するエラー(クラスター分析・共起ネットワーク) 投稿者:NAKAMURA  投稿日:2014/06/30(Mon) 16:09:18
Rを用いた描画に失敗するエラー(クラスター分析・共起ネットワーク) (画像サイズ: 835×630 115kB)

樋口先生
初めまして、お世話になります。

KH Coderは最新版を使用してます。
添付画像のような文書ファイルを分析しようとしているのですが、
共起ネットワークの描画、クラスター分析の描画ともに
「Rを用いた描画に失敗した」というエラーが出力されてしまいます。
添付画像はクラスター分析を行ったときの出力画面になります。

共起ネットワークの描画は、
最小/最大出現数による語の取捨選択の最小出現数を大きくすることで実行できこともありましたが、最小出現数の値を小さくすると、上記のエラーのため出力できませんでした。
クラスター分析については、私の数値の変更の仕方に誤りがあるのかもしれませんが、一切出力できていません。

分析の初心者のため、エラーメッセージを見てもどうしてグラフが描画できないのか把握できませんでした。
どうか打開策をご教授願えれば幸いです。
よろしくお願いします。


以下はは添付画像時(クラスター分析)のコンソール画面のログとなります。

This is KH Coder 2.beta.31 on MSWin32.
CWD: C:\khcoder
Available Physical Memory: 1974MB
Checking MySQL connection...
R Version: 3.1, i386
Using un-threaded functions...
Monitors: 0, 1366, 0, 768
new window: 878, 253
new window: 0, 0
Connected to MySQL 3.23, khc3.
new window: 912, 216
gui_wait: making new...

64 wallclock secs (15.19 usr + 0.40 sys = 15.60 CPU)
Sent to R: memory.limit(size=2047)
loading Cairo...
Statistics::R::Bridge::pipe::read_processR, Sleep and Retry!
Statistics::R::Bridge::pipe::read_processR, Retry:
done: 00:01:17


  [No.1730] Re: Rを用いた描画に失敗するエラー(クラスター分析・共起ネットワーク) 投稿者:HIGUCHI Koichi  投稿日:2014/06/30(Mon) 18:23:06

こんにちは、樋口です。書き込みありがとうございます。

Rを用いた描画に失敗する場合、何度かエラーメッセージが出ると思いますが、
最初に出るものがもっとも重要です。

共起ネットワークとクラスター分析の場合とで、それぞれ、最初に出たエラー
メッセージを見せていただけると、もしかすると手がかりが得られるかもしれ
ません。


なお、文書のクラスター分析に関しては、16万件の「文書」を分類しようとし
ている状況ですので、かなりメモリを積んでいないと難しいと思います。メモ
リ容量が問題になっている場合は、「方法」としてCLARAを選択すれば(必要な
メモリ容量が減るので)、動く可能性があるかもしれません。


  [No.1745] Re: Rを用いた描画に失敗するエラー(クラスター分析・共起ネットワーク) 投稿者:NAKAMURA  投稿日:2014/07/07(Mon) 14:52:38

Re: Rを用いた描画に失敗するエラー(クラスター分析・共起ネットワーク) (画像サイズ: 455×262 16kB)

樋口先生

迅速なお返事ありがとうございました。
日を改めて共起ネットワークを描画してみたところ成功しましたが、クラスター分析は成功しませんでした。
教えていただいたように、方法をCLARAにしてみましたが、別のエラーログを出力しました。
クラスター分析時のエラーメッセージの内容を、画像ファイルとして添付致します。
最初に出るエラーメッセージはこちらでよろしいでしょうか。

CLARAの法の黒枠はPCのユーザ名が載っているため伏せさせていただきました。
文字化けしているような、ディレクトリ名は分析元のフォルダ名が日本語だからでしょうか。

何度もお手数お掛けしますが、よろしくお願いします。


  [No.1746] Re: Rを用いた描画に失敗するエラー(クラスター分析・共起ネットワーク) 投稿者:HIGUCHI Koichi  投稿日:2014/07/08(Tue) 01:03:46

こんにちは、樋口です。書き込みありがとうございます。

■エラーメッセージの文字化けについて

ひとまず、エラーメッセージが文字化けしないように修正したバージョンを準
備いたしました。このバージョンをお使いのkh_coder.exeに上書きして、再度
(文字化けしていない)エラーメッセージをお知らせいただけると、手がかり
が得られるかもしれません。

http://khcoder.info/psnl/tmp/kh_coder.exe

なお、上書きの詳細な手順は以下のようになります:
---------------------------------------------------------------------
1. 上記のリンクをダブルクリックして対策版の「kh_coder.exe」をダウン
ロードします。

2. ダウンロードした「kh_coder.exe」を右クリックして「コピー」を選択し
ます。

3. ご利用になっているKH Coderのフォルダを開きます。

4. 開いたフォルダのアイコンの隙間など、白い部分で右クリックして、「貼
り付け」を選択します。「上書きするかどうか」「置き換えるかどうか」と問
い合わせ画面がでると思いますので、「置き換える」「上書きする」選択肢を
お選び下さい。
---------------------------------------------------------------------

■現時点で考えられること

Rを利用した文書のクラスター分析は、文書数が多い場合、大量のメモリを要
します。

16万件も文書がある場合、この理由から、ward法での分析はおそらく無理です。
OSを64bitにして、積めるだけ(32GB程度)メモリを積んで、成功するかどう
かでしょう。

根本的な対策としては、(1)ランダムサンプリングでデータを減らすか、(2)KH
Coderからいったんデータを出力し、大きいデータに対応したR以外の統計ソ
フトを使うか、どちらかかなと思います。

ただ、使用する語の数によっては、CLARAだと成功の見込みがあるかもしれま
せん。CLARAの場合にはもしかすると日本語のファイル名/フォルダ名が問題
になっているのかもしれません。

なお、適宜、以下のFAQ項目もご覧ください。

「KH Coderではどの程度の大きさのファイルまで分析できますか?」
http://khc.sourceforge.net/FAQ.html#d-size

「大きなファイルの処理にはどの程度時間がかかりますか?」
http://khc.sourceforge.net/FAQ.html#d-size-time