[掲示板へもどる]
一括表示

  [No.3842] コーディングルールで共起ネットワーク図 投稿者:yokota  投稿日:2018/10/22(Mon) 09:37:58
コーディングルールで共起ネットワーク図 (画像サイズ: 4618×3464 1.5MB)

樋口先生

お世話になっております。

kh coderのバージョンは3.alpha.13eになります

動作環境はwindows 10 pro 64bit,RAM32GB,NVMeの256GB
ストレージの環境下で実行しております。

分析しているデータはツイッターのテキストデータで111MBほどです。

そのcsvファイルを前処理し、コーディングルールで共起ネットワーク図を
作成中画像のようなエラーが発生しました。

これはデータ量が大きすぎるということでしょうか。
だだ、同じ行列構造の600MBを超えるcsvファイルでも実行できたので
問題は別なのでしょうか?

お忙しいかと思いますがご教授いただけると幸いです。


  [No.3843] Re: データサイズの問題について 投稿者:HIGUCHI Koichi  投稿日:2018/10/22(Mon) 16:49:05

こんにちは、樋口です。書き込みありがとうございます。

これはメモリが足りない場合に生じるエラーです。共起ネットワーク作成には
Rを利用していますが,Rは全データをメモリ上に読み出すので,メモリ容量が
制約になります。

テキストファイル・データファイルの容量と言うよりは,「文書数」が問題に
なります。このデータでは113万件ほどですね。処理できたデータの方は,文
書数がもっと少なかったということはないでしょうか?

何年も前に書いたので,少し情報が古くなっている面がありますが,こちらの
FAQ記事がご参考になるやもしれません。
http://khcoder.net/FAQ.html#d-size

※FAQ記事には文書数10,000以下と記載していますが,おそらく,お使いのPC
であれば100,000くらいまでは大丈夫かなと思います。


  [No.3844] Re: データサイズの問題について 投稿者:yokota  投稿日:2018/10/24(Wed) 17:35:16

樋口先生

丁寧かつ迅速なご回答ありがとうございます。

データサイズばかり気になっていて
文章数に関してまったく気にしていませんでした。

現在の分析がうまくいけば論文を外部に投稿しよう
と思っているので、その際よいご報告ができるように
がんばります。

誠にありがとうございました。