Re: データサイズの問題について (HIGUCHI Koichi) KH Coder 旧掲示板

こんにちは、樋口です。書き込みありがとうございます。

これはメモリが足りない場合に生じるエラーです。共起ネットワーク作成には
Rを利用していますが，Rは全データをメモリ上に読み出すので，メモリ容量が
制約になります。

テキストファイル・データファイルの容量と言うよりは，「文書数」が問題に
なります。このデータでは113万件ほどですね。処理できたデータの方は，文
書数がもっと少なかったということはないでしょうか？

何年も前に書いたので，少し情報が古くなっている面がありますが，こちらの
FAQ記事がご参考になるやもしれません。
http://khcoder.net/FAQ.html#d-size

※FAQ記事には文書数10,000以下と記載していますが，おそらく，お使いのPC
であれば100,000くらいまでは大丈夫かなと思います。