Re: 大量データの前処理でMySQL接続切れ (ZHANG) KH Coder 旧掲示板
[ツリー表示] [留意事項] [ワード検索] [過去ログ]

  [No.1773] 大量データの前処理でMySQL接続切れ 投稿者:   投稿日:2014/08/08(Fri) 18:51:46

はじめまして、張と申します。

95MBのテキストファイルをkhcoderで前処理すると
最後の段階でMysqlが接続切れてkhcoderが落ちます。
エラーメッセージは以下の通りです。

C:\khcoder>kh_coder
This is KH Coder 2.beta.31 on MSWin32.
CWD: C:\khcoder
R Version: 3.1, x86_64
Using un-threaded functions...
C:\Users\zsy221\Desktop\coder_data\
Connected to MySQL 5.6.20-log. Creating new DB...
Connected to MySQL 5.6, khc1.
Performed "SET NAMES ujis"
Connected to MySQL 5.6, khc1.
Performed "SET NAMES ujis"
gui_wait: making new...
Checking icode... sjis
Morpho1 215 wallclock secs (95.39 usr + 1.09 sys = 96.48 CPU)
Morpho2 101 wallclock secs (93.70 usr + 2.74 sys = 96.44 CPU)
Read 1962 wallclock secs ( 6.08 usr + 2.19 sys = 8.26 CPU)
Format 980 wallclock secs ( 4.49 usr + 0.30 sys = 4.78 CPU)
Strat1 6979 wallclock secs (440.97 usr + 23.19 sys = 464.16 CPU)
Strat2 791 wallclock secs ( 1.47 usr + 0.98 sys = 2.45 CPU)
RawTXT 412 wallclock secs (118.67 usr + 2.52 sys = 121.19 CPU)
df 3612 wallclock secs ( 0.00 usr + 0.00 sys = 0.00 CPU)
fc 1905 wallclock secs ( 0.50 usr + 0.31 sys = 0.81 CPU)
Check 13 wallclock secs ( 0.00 usr + 0.00 sys = 0.00 CPU)
DBD::mysql::db do failed: MySQL server has gone away at /<C:\khcoder\kh_coder.ex
e>mysql_exec.pm line 256.
Exit (gui_errormsg.pm)

====
作成されたデータベースは6.7Gになりました。

環境は以下の通りです。
os: windows8.1
cpu: i3 1.80GH
memory: 8G
ストーレジ:120G

500Mのデータも解析できたとの記事を見たので、私の場合は95Mで、そんなに大きいデータでもないかとおもいますが..

どう対処すれば良いでしょうか。
よろしくお願いします。


- 関連一覧ツリー (■ をクリックするとツリー全体を一括表示します)