明けましておめでとうございます。
新年早々恐縮ですが、500M程度の新聞データをKH Coderに
入れて使いたいと思っていて、作業していますが、
何度やっても、下記のようなエラーが出ます。

--------------------------------
MySQLデータベースの処理に失敗しました。
KH Coderを終了します。

SQL入力:
LOAD DATA LOCAL INFILE
'C:/khcoder/corpus/coder_data/mai91to97_ch.txt'INTO TABLE rowdata
エラー出力:
Lost connection to MySQL server during query

-------------------------------
DBD::mysql::db do failed: Lost connection to MySQL server during query at /ParlApp/mysql_exec.pm line 217.
-------------------------------
PC環境はVistaで、RやPerlなどはインストールして
おりません。ハードディスクの空きは「560G」程度あります。
ファイルサイズが大きすぎるのでしょうか。

何か思い当たることがあれば、教えていただけますでしょうか。
よろしくお願いいたします。

李在鎬

樋口です。明けましておめでとうございます。
新年早々のデータ分析、お疲れさまです。また、書き込みありがとうございます。

さてMySQLのエラーですが、やはりデータが大きいのが理由かと思われます。MySQLは（デフォルトでは）4G分のデータ領域を確保するのですが、この領域にデータが納まらない場合、エラーとなります。500M程度のデータですと、茶筌の出力（coder_data/mai91to97_ch.txt）はおよそ10倍の5Gくらいになっていたでしょうから、データがあふれたものと考えられます。

そこで、データを格納するのに十分な大きさの領域をMySQLが確保するようにコマンドを追加してみました。
http://khcoder.info/psnl/.khc/kh_coder.exe
現在お使いの「kh_coder.exe」に上書きしてお試し下さい。

※このファイルで「LOAD DATA...」コマンドは大丈夫になるはずですが、もしかすると別のコマンドで、データが大きいことに起因するエラーが発生するかもしれません。万一そのような場合は、どうぞその旨ご連絡下さいませ。

蛇足ながら、データがここまで大きくなってくると、ランダムサンプリングを行うことで、処理するデータを減らしていただくというのも一手かもしれません。

p.s.
500Mというサイズは、KH Coderがこれまでに処理したデータの中で最高記録になると思います。前処理が成功すればの話ですが。

こんにちは、樋口です。書き込みありがとうございます。

19時に開始して翌日の17時となると、20時間以上ですね。ですが、添付していただいた画像を拝見する限り、異常は見あたりません。

また、「Strat2」（と内部的に呼んでいる）処理の後には、データによっては非常に長い処理時間を要する「DF」（と内部的に呼んでいる）処理がひかえています。おそらく、この「DF」処理の最中だったのではないかと考えられます。

もし強制終了をされた時にHDDないしCPUが動いていた場合は、そのままさらに数日放って置いていただけば、処理が完了した可能性があります。逆に、HDDのアクセスランプが光らない状態が続き、CPU使用率も低い状態だった場合は、何らかのエラーが発生してKH Coder and / or MySQLが処理を停止した可能性があります。

前者の場合ですと、一週間くらいPCを放っておけるような時にお試しいただくより他はないかと思われます。（あるいは、サンプリングによってデータ量を減らしていただくか…）

以上ひとまずのご返信までにて失礼いたします。
どうぞ宜しくお願いいたします。

コメントありがとうございました。
もう少し待ったほうが良かったんですね。
また別の日に試してみます。
ありがとうございました。
今後ともよろしくお願いいたします。

李