[掲示板へもどる]
一括表示

  [No.314] 前処理データの整合性エラーについて 投稿者:otsu  投稿日:2007/05/30(Wed) 10:42:13

突然申し訳ございません。
前処理を行ったら、「前処理データの整合性が失われました。bun-bun_r1」というエラーが出ました。
いくつかの自由回答(件数としては4000件程度。空行もアリ。)を読み込んでいて、その内エラーが出ないものもありましたが、ほとんどが上記のようなエラーメッセージが出ました。
どういった対処法が考えられますでしょうか?

大変お手数ですが、ご回答いただけますと幸いです。

(昨日e-mailでも同じ質問をさせていただき、ご覧になっているかもしれませんが、送信途中で画面がストップしてしまい、ちゃんと送信できているか分からなかったので、掲示板にも記載させていただきました。)


  [No.315] Re: 前処理データの整合性エラーについて 投稿者:HIGUCHI Koichi  投稿日:2007/05/30(Wed) 11:49:27

こんにちは、樋口です。ご連絡ありがとうございます。
こちらの掲示板の方で返信させていただきます。

まずデータ中に半角文字が含まれているようでしたら、それらを全角に修正してみて下さい。あるいは、「'」「"」「\」「|」「<」「>」だけでも、全角に置換するか削除するかしてただくと、改善が見られる可能性もあります。またその他には、マニュアルの2.1.1節をご確認いただけますでしょうか。今思いつくのは以上のようなところです。

こういった方法では駄目な場合、もしよろしければ、比較的小さいデータファイルで、エラーが発生するものを拝見させていただくことは可能でしょうか。お送りいただいたデータは発生しているエラーの確認にのみ利用し、問題点を確認後は直ちに削除させていただきますので、ご検討いただけましたら幸いです。

それでは、どうぞよろしくお願い致します。


  [No.316] Re: 前処理データの整合性エラーについて 投稿者:otsu  投稿日:2007/05/30(Wed) 15:05:37

こんにちは。ご回答ありがとうございました。
念のため、Excelの「JIS」で全角にしてみましたがやはり同じエラーが出てしまいました。

そんなわけで、いろいろとデータを加工してみましたら、どうやらテキストファイルの最終の行が2行以上空白だとエラーが出るようだということが分かりました・・・。そういった場合、最終行は必ず空白にならないように、ダミーデータを入れなければならないのでしょうか?

サンプルデータをお送りするまでもないような内容でしょうか…?
お手数をおかけいたしますが、ご回答をよろしくお願いいたします。


  [No.317] Re: 前処理データの整合性エラーについて 投稿者:HIGUCHI Koichi  投稿日:2007/05/30(Wed) 15:40:26

こんにちは、樋口です。書き込みありがとうございます。
また、試行錯誤していただいたようで、大変恐縮です。

> どうやらテキストファイルの最終の行が2行以上空白だとエラーが出る
> ようだということが分かりました・・・。そういった場合、最終行は必
> ず空白にならないように、ダミーデータを入れなければならないので
> しょうか?

私の環境では、データファイルの最後に空行を複数入れても、前処理は
正常に完了するようで、、、エラーを再現できずにおります。もしかす
ると、他にエラーの原因があるのかもしれません。

ただ、ダミーデータを入れることで、正常に前処理が完了するようでし
たら、当面、ダミーデータを入れていただくというのも一手かもしれま
せん。空行を<無回答>という文字列で置換するなど…。

ひとまずのご返信までにて、失礼いたします。


  [No.318] Re: 前処理データの整合性エラーについて 投稿者:otsu  投稿日:2007/05/30(Wed) 16:06:37

ご回答ありがとうございます。

>私の環境では、データファイルの最後に空行を複数入れても、前処理は
> 正常に完了するようで、、、エラーを再現できずにおります。もしかす
> ると、他にエラーの原因があるのかもしれません。

そうなのですか…。でも、確かに今までエラーなく使用させていただいていたので、今回のデータに何か不具合があるのかもしれません・・・。

取り急ぎはダミーデータを入れたものでなんとかなりそうです。
いろいろなアドバイスをいただきありがとうございました。

また何かのタイミングで同様のエラーが出て、何らかの対処法が発見された場合は教えていただけますと(掲示板やマニュアルで)うれしいなと思います。


今後もいろいろなケースで使用させていただく予定ですので、何か困った事がありました際は、ご相談に乗っていただけますと幸いです。


取り急ぎお礼方々ご連絡まで。


  [No.319] お礼 // Re: 前処理データの整合性エラーについて 投稿者:HIGUCHI Koichi  投稿日:2007/05/31(Thu) 09:34:24

こんにちは、樋口です。書き込みありがとうございます。

おそらくは「他の何らかの条件が重なった場合に、データファイル末尾
に複数の空行があると、エラーが生じる」ということかなぁと思うので
すが、残念ながら問題を突き止められずにおります。

今後、もし原因が分かりましたらこの掲示板やマニュアル等でアナウン
スさせていただきます。あるいは、エラーが生じないようにKH Coderを
改良したいと思います。

この度はエラーについての詳細なご報告をいただきまして、まことにあ
りがとうございました。こちらこそ、今後ともよろしくお願い申し上げ
ます。


  [No.320] Re: お礼 // Re: 前処理データの整合性エラーについて 投稿者:otsu  投稿日:2007/06/07(Thu) 22:21:43

すみません、前処理のエラーではない別件ですが、質問させてください。
テキストデータを読み込み、前処理を実行後、「品詞別出現回数リスト」を実行しようとしたら、「指定されたパスが見つかりません。」という行がexeに表示されて、品詞リスト(csvファイル)が作成されませんでした。
他のテキストファイルで同様の操作を行った際は、ちゃんとリストができ上がったのですが…。
また、「品詞別出現回数リスト」が作成されないテキストファイルでも、「抽出語連関規則」の操作は実行でき、コーディングしたセグメントごとの頻出ワードは見る事ができました。

どのような対応をしたら「品詞別出現回数リスト」を作成できるか教えていただけますでしょうか?

すごく簡単な手順のミスでしたら大変申し訳ございませんが、ご回答いただけたら幸いです。


  [No.321] Re: お礼 // Re: 前処理データの整合性エラーについて 投稿者:HIGUCHI Koichi  投稿日:2007/06/08(Fri) 15:42:20

こんにちは、樋口です。書き込みありがとうございます。

「指定されたパスが見つかりません」ということですので、分析対象フ
ァイルの名前や、分析対象ファイルを置いているフォルダの名前が少々
気になるところです。

上手く処理できている分析対象ファイルと同じ場所(同じフォルダ)に
、今回の分析対象ファイル置いてお試しいただいたり、あるいは、分析
対象ファイルの名前を「data01.txt」のような半角英数字のみの名前に
してみていただいたり、といった対処でもしかすると改善が見られるか
もしれません。

今思いつくのはこの程度でしょうか。「これで直る」という確信が持て
ず、恐縮なのですが、どうぞよろしくお願いいたします。


  [No.322] Re: お礼 // Re: 前処理データの整合性エラーについて 投稿者:otsu  投稿日:2007/06/21(Thu) 20:56:26

すみません、お返事いただいたのにお礼も言わずに今日になってしまいました。
フォルダですが、どうやら階層が下がりすぎて長いファイルのパスになってしまったのが問題だったのではないか…と見ております。
ご迷惑おかけして申し訳ございませんでした。
またよろしくお願いいたします。