前処理実行時に、「前処理データの整合性が失われました：variable 1, variable 2, variable 3, variable 4」というメッセージが表示されます #1371
お使いのKH Coderのバージョン3.03a official-package エラー・不具合について詳しくお書きください■お使いのOS ■KH Coderのインストール先フォルダ（解凍先フォルダ） ■どんなエラー・不具合・問題ですか？ ■スクリーンショット ■どのように操作すればその問題を再現できますか？
■エラー・メッセージ ■その問題はチュートリアルの漱石「こころ」データでも同様に発生しましたか？ ■その問題を再現できるファイル（群） 「強制抽出する語の指定」で使用したファイル 「使用しない語の指定」で使用したファイル ■分析しようとしているのは何語のテキストですか？ ■分析対象として指定しているファイルの形式は何ですか？ ■お使いのセキュリティ対策／ウイルス対策ソフトウェア ■お使いのCPU コンソール・ウィンドウの表示内容（Macではターミナルの表示内容）を貼り付けてくださいConsole messages... |
Replies: 3 comments 2 replies
|
「強制抽出する語として指定」ファイル内の「김치녀(キムチ女)」という一単語が原因だったようで、こちらを抜かして再度前処理を実行したところ、滞りなく完了しました。ただ、このまま共起ネットワークを生成したところ、「김치＋녀」の二単語で分けて抽出されます。ちなみに、三文字目のみが異なる「김치남(キムチ男)」という単語も「強制抽出する語」として指定していますが、エラーは出ていません。頻出の重要な単語であることから、出来れば連結した一単語として抽出したいと考えています。 |
整合性エラーKH Coderを開発している樋口です。 整合性エラーが出たときのコンソール画面を見ますと、次のような表示になっています。 
この表示は、変数は2001ケースあるのに、テキストは1145ケースしかなくて、ケース数が一致しないことをあらわしています。 テキストも本来は2001ケース（実際には2000ケース＋空白？）ありますので、テキストの処理が1145個目あたりで止まってしまったことが考えられます。そこで1145個目のテキストを、Notepad++のような「非表示文字」が見えるテキストエディタで開いてみると、次のようにNBSPという特殊文字が入っていることが分かります。 
このNBSPを削除して、通常のスペース文字に置き換えれば、エラーは解消するようです。念のためにこちらで編集したファイルを添付します。このファイルを使う場合は、新たにプロジェクトを作り直してください。 NBSPが入っていても大丈夫な場合もあるのですが、強制抽出によって、大丈夫ではない形になってしまったようです。基本的にはこういった特殊文字は削除しておいていただきたいです。なおNotepad++では次の操作で非表示文字を見ることができます。 
使用しない語「때」を［抽出語検索］画面で検索してみます。 
KH Coderは「때01」という語として認識していることが分かります。よって「使用しない語の指定」でも「때01」と指定する必要があります。 |
|
KH Coder側で自動的にNBSPを削除（通常のスペースに変換）するように修正を行ないました。次のバージョンのリリースをお待ちいただいても結構ですし、kh_dictio.zipをダウンロードして中身の「kh_dictio.pl」を、「kh_lib」ファイルに上書きコピーすることで、この修正版をお試しいただけます。 こうした非表示文字ないし特殊文字は、ほとんどがExcelのCLEAN関数で取り除けます。 しかし今回のNBSPはCLEAN関数でも取り除けないようでしたので、KH Coder側での対処を行ないました。 |
|
ご対応ありがとうございます。 使用しない語についても、「때01」と指定したところ抽出されなくなりました。 重ね重ね申し訳ありません。上記ご教示いただけますと幸いです。よろしくお願いいたします。 |
|
数字については「標準国語大辞典」の同音異義語番号です。 おそらく、番号が付く語には常に番号が付くので、特に支障はないものと思います。 |
整合性エラー
KH Coderを開発している樋口です。
書き込みありがとうございます。
整合性エラーが出たときのコンソール画面を見ますと、次のような表示になっています。
この表示は、変数は2001ケースあるのに、テキストは1145ケースしかなくて、ケース数が一致しないことをあらわしています。
テキストも本来は2001ケース（実際には2000ケース＋空白？）ありますので、テキストの処理が1145個目あたりで止まってしまったことが考えられます。そこで1145個目のテキストを、Notepad++のような「非表示文字」が見えるテキストエディタで開いてみると、次のようにNBSPという特殊文字が入っていることが分かります。
このNBSPを削除して、通常のスペース文字に置き換えれば、エラーは解消するようです。念のためにこちらで編集したファイルを添付します。このファイルを使う場合は、新たにプロジェクトを作り直してください。
【保存用】イルベ ローデータ収集3.zip
NBSPが入っていても大丈夫な場合もあるのですが、強制抽出によって、大丈夫ではない形になってしまったようです。基本的にはこういった特殊文字は削除しておいていただきたいです。なおNotepad++では次の操作で非表示文字を見ることができます。
使用しない語
「때」を［抽出語検索］画面で検索してみます。
KH Coderは「때01」という語として認識していることが分かります。よって「使用しない語の指定」でも「때01」と指定する必要があります。