「前処理データの整合性」エラー ←形態素解析の不調に起因 ←辞書編集に起因？

[MS202512]

お使いのKH Coderのバージョン

3.Beta.08e

バグについて詳しくお書きください

■お使いのOS
→Windows 11

■どんなエラー・不具合・問題ですか

→KH Coderが壊れてしまい、元に戻せない

■スクリーンショット
スクリーンショット 2025-12-29 162429
スクリーンショット 2025-12-29 161640

■どのように操作すればその問題を再現できますか？
→

1. メニューから「ツール」「抽出語」「抽出語リスト」を順にクリック

2. 右下の次100のボタンを続けて早く押してしまったところ、固まり、エラーメッセージ画面がひっきりなしに表示され、終了できなくなったため、仕方なく強制終了したところ、KHCoderが壊れてしまった。そのあと、コンピュータを再起動し、前処理を行うと、結果が、スクリーンショット 2025-12-29 161640のようになり、プログラムは終了してしまいます。(variableのあるExcelを読み込んでいます。）その結果エラーメッセージも出ません。この寸前までは何もかも順調にいっていました。
   4.そこで新たにバックアップとしてとっておいたKHCoderをコピーし、そのKHCoderを使って操作しましたが状況は改善しませんでした。同じことが起こります。

3. 読み込むファイルをvariableなしで試したところ、前処理は成功しましたが、抽出語リストは
   スクリーンショット 2025-12-29 162429のようになりました。

大変困っています。KH Coderでの分析をあきらめるしかないでしょうか。

■エラー・メッセージ
→出ません。

■その問題はチュートリアルの漱石「こころ」データでも同様に発生しましたか？
→データには問題ないと思います。
プログラムが壊れる前はできていたためです。
■その問題を再現できるファイル（群）
→わからない。

■分析しようとしているのは何語のテキストですか？
→日本語

■分析対象として指定しているファイルの形式は何ですか？
→Excel形式（.xlsx）

■お使いのセキュリティ対策／ウイルス対策ソフトウェア
ウイルスバスター

■お使いのCPU
→Intel(R) Core(TM) Ultra 7 155H (1.40 GHz)

コンソール・ウィンドウの表示内容（Macではターミナルの表示内容）を貼り付けてください

　なし

[ko-ichi-h]

まずWindowsを再起動してください。終了＋起動ではだめで、必ず「再起動」をクリックしてください。それから、漱石『こころ』のプロジェクトを作成して、前処理を実行してみてください。正常に前処理が終了しますか？　また抽出語リストは、このようになりますか？ https://speakerdeck.com/koichih/kh-codertiyutoriaru-suraidoban?slide=13

[ko-ichi-h]

整合性エラーが出る場合は、その時のコンソール画面の内容を貼り付けてください。

Windows 11ではタスクバーのKH Coderアイコンの近くにコンソール（Console）ウィンドウのアイコンがあるケースが多いです。コンソール・ウィンドウとは黒の背景で，白い文字が並んでいるウィンドウです。

[MS202512]

樋口先生
ありがとうございます。
まずWindowsを再起動してください。終了＋起動ではだめで、必ず「再起動」をクリックしてください。それから、漱石『こころ』のプロジェクトを作成して、前処理を実行してみてください。正常に前処理が終了しますか？　
→はい。正常に終了します。

また抽出語リストは、このようになりますか？
→いえ、先ほどのリストのように一文字ずつのものになります。

エラー画面の右下のOKを押す前のコンソール画面を下に示します。
OKを押すと、この画面が消えてしまいます。

Encoding of this Console: cp932
Encoding of this file system: cp932
This is KH Coder 3.Beta.03b on MSWin32.
CWD: C:/khcoder3
Available Physical Memory: 2047MB
Checking MySQL connection...
R Version: 3.1, x86_64
Using un-threaded functions...
Monitors: 0, 1536, 0, 960
new window: 143, 417
new window: 86, 109
new window: 504, 356
Connected to MySQL 5.6, khc73.
Data dir: C:/khcoder3/config/khc73/
Connected to MySQL 5.6, khc73.
Specified target file is copied to: C:/khcoder3/config/khc73/khc73_tgt.xls
col_changed: 0, 0, テキスト
col_changed: 0, 1, 部
col_changed: 0, 2, 章
col_changed: 0, 3, 章（ラベル）
Conv: 0 wallclock secs ( 0.27 usr + 0.00 sys = 0.27 CPU)
Checking icode (jp2)... utf8
MySQL: FLUSH
Checking icode (jp2)... utf8
Morpho1 0 wallclock secs ( 0.23 usr + 0.00 sys = 0.23 CPU)
Single row: 212 bytes
The HEAP table will eat approx. 27MB; We have 1547MB max.
Read 2 wallclock secs ( 0.00 usr + 0.00 sys = 0.00 CPU)
Format 0 wallclock secs ( 0.08 usr + 0.00 sys = 0.08 CPU)
Strat1 8 wallclock secs ( 0.30 usr + 0.27 sys = 0.56 CPU)
Strat2 1 wallclock secs ( 0.00 usr + 0.00 sys = 0.00 CPU)
RawTXT 1 wallclock secs ( 0.19 usr + 0.09 sys = 0.28 CPU)
df: heap df: heap df: heap df 4 wallclock secs ( 0.00 usr + 0.00 sys = 0.00 CPU)
fc 1 wallclock secs ( 0.00 usr + 0.00 sys = 0.00 CPU)
Check 0 wallclock secs ( 0.00 usr + 0.00 sys = 0.00 CPU)
fix_morpho 0 wallclock secs ( 0.00 usr + 0.00 sys = 0.00 CPU)
fix_unknown 0 wallclock secs ( 0.02 usr + 0.00 sys = 0.02 CPU)
fix_headings 1 wallclock secs ( 0.00 usr + 0.00 sys = 0.00 CPU)
make_cache 2 wallclock secs ( 0.00 usr + 0.00 sys = 0.00 CPU)
clear_tmp 0 wallclock secs ( 0.00 usr + 0.00 sys = 0.00 CPU)
MySQL: FLUSH
Morpho File: C:/khcoder3/config/khc73/khc73_ch.txt
ok new window: 266, 31
new window: 504, 356
Connected to MySQL 5.6, khc69.
Checking icode (jp2)... utf8
Morpho1 0 wallclock secs ( 0.13 usr + 0.03 sys = 0.16 CPU)
Single row: 292 bytes
The HEAP table will eat approx. 18MB; We have 1547MB max.
Read 1 wallclock secs ( 0.02 usr + 0.00 sys = 0.02 CPU)
Format 0 wallclock secs ( 0.03 usr + 0.00 sys = 0.03 CPU)
Strat1 4 wallclock secs ( 0.14 usr + 0.14 sys = 0.28 CPU)
Strat2 0 wallclock secs ( 0.00 usr + 0.00 sys = 0.00 CPU)
RawTXT 1 wallclock secs ( 0.05 usr + 0.06 sys = 0.11 CPU)
df: heap df: heap df: heap df 1 wallclock secs ( 0.00 usr + 0.00 sys = 0.00 CPU)
fc 0 wallclock secs ( 0.00 usr + 0.00 sys = 0.00 CPU)
variable error: var_id 1, var_name 文番号, cases_var 1535, cases 1284
variable error: var_id 2, var_name 記事番号, cases_var 1535, cases 1284
variable error: var_id 3, var_name 発行日, cases_var 1535, cases 1284
variable error: var_id 4, var_name 時期, cases_var 1535, cases 1284

申し訳ございません。どうかよろしくお願いいたします。

[ko-ichi-h]

「プロジェクト」「開く」画面で、漱石『こころ』のプロジェクトを選択し一度削除してください。

そして、もう一度、漱石『こころ』のプロジェクトを作成していただけますか。その際に、この画面で
https://speakerdeck.com/koichih/kh-codertiyutoriaru-suraidoban?slide=9
「日本語」「ChaSen」を選択していることを確認してください。

それから「前処理の実行」をして、抽出語リストを見てみるといかがでしょう？　1文字ずつになっていますか？

[ko-ichi-h]

あいかわらず1文字ずつになっている場合は、「前処理」「語の抽出結果を確認」画面で、「先生と呼んで」を検索して、結果をダブルクリックした画面を貼り付けていただけますでしょうか。本来は次のようになるはずなのです。

[MS202512]

樋口先生

ご指示のとおり、してみました。
もともとChasenと日本語が選択されています。

やはりおかしくなっております。
絶望的でしょうか。

[ko-ichi-h]

C:/khcoder3/config/khc73というフォルダの中に、「_ch.txt」で終わる名前のテキストファイルがあると思います。

これはChaSenによる形態素解析の結果が入っているファイルですが、その冒頭のスクリーンショットか、あるいは内容を貼り付けていただけますか？

ChaSenによる形態素解析が上手くいっていないのか、形態素解析は上手くいっているけれど、そのあとがいけないのかという手がかりがえられると思います。

[MS202512]

樋口先生

恐れ入ります。
Khc73はありませんでした。
Khc72やKhc74はあります。
何をお送りすればよいでしょうか。

[ko-ichi-h]

失礼しました。khc74でお願いできますか？

[MS202512]

[khc74_ch.txt](https://github.com/user-attachments/files/24366259/khc74_ch.txt

樋口先生
ファイルごとアップロードしました。
開けますでしょうか。

[ko-ichi-h]

ChaSenによる形態素解析がうまく機能しなくなってしまったようです。

ウイルスバスターを一時的に無効にすることはできますでしょうか？

1. ウイルスバスターを1次的に無効にする
2. 漱石『こころ』プロジェクトを開き、「前処理の実行」をする
3. 抽出語リストを開き、状況が改善したかどうかを確認

していただくと、いかがでしょう？

[ko-ichi-h]

それでもダメでしたら、

1. ［プロジェクト］［開く］画面で漱石『こころ』プロジェクトを選択し、［編集］ボタンをクリック
2. 開いた画面で「ChaSen」と書いてある部分をクリックして「MeCab」を選択して［OK］
3. 漱石『こころ』プロジェクトを開いて［前処理の実行］をし、抽出語リストを見てみると、

状況は改善していますでしょうか？　ダメでしょうか？

[MS202512]

樋口先生

残念ながら改善しませんでした。

申し訳ございません。

[ko-ichi-h]

MeCabも試してみました？

[MS202512]

樋口先生

MeCabはOKでした。

[ko-ichi-h]

ChaSenを直すよりは、MeCabで分析するのが楽かもしれません。

整合性エラーが出ていたプロジェクトは、MeCabなら前処理が正常に完了しますか？

[MS202512]

樋口先生

＞ChaSenを直すよりは、MeCabで分析するのが楽かもしれません。

＞整合性エラーが出ていたプロジェクトは、MeCabなら前処理が正常に完了しますか？

はい。ただ、最近の語は未知語などとなり、うまくいきません。

Chasenを直す場合、どのような方法が考えられますか。
寸前まで未知語を辞書登録していました。
少しずつ増やしてそのたびにチェックしていました。
最後のところで壊れました。
次100のボタンを間を置かずに押してしまったことを後悔しています。

[ko-ichi-h]

「次へ」ボタンで生じるエラーは、GUIのエラー、すなわち画面表示のエラーです。それによってChaSenが不調におちいることは考えにくいです。

むしろChaSenの辞書編集に失敗したのではないかという疑いを感じるのが正直なところです。

もし私がChaSenの辞書編集をしていてこうなったなら、最後の辞書編集をもとにもどして、辞書のコンパイルをして、正常に戻らないか試してみると思います。

[MS202512]

樋口先生
＞ChaSenの辞書を触っていたということですか？
おっしゃる通りです。
＞KH Coderのバックアップがあるなら、khcoder3/dep/chasenフォルダをいったん削除して、バックアップしたフォルダをコピーしてみるくらいでしょうか。
KH Coderのバックアップ全体をコピーしても、うまくいきませんでした。
辞書だけ入れかえるとうまくいく可能性があるということになりましょうか。

[MS202512]

樋口先生

もし私がChaSenの辞書編集をしていてこうなったなら、最後の辞書編集をもとにもどして、辞書のコンパイルをして、正常に戻らないか試してみると思います。

こちらで試してみます。

[ko-ichi-h]

KH Coderのバックアップがあるなら、khcoder3/dep/chasenフォルダをいったん削除して、バックアップしたフォルダをコピーしてみるくらいでしょうか。

KH Coderのバックアップ全体をコピーしても、うまくいきませんでした。
辞書だけ入れかえるとうまくいく可能性があるということになりましょうか。

ここで重要なのは、いったんChaSenをフォルダごと削除するというステップです。まるごと削除してから、バックアップを戻すことで、復旧を狙うという趣旨で書きました。もちろん辞書編集の内容は完全に消えるはずです。

---

現状の形態素解析の結果を見ると、未知語が非常に多く、わずかな言葉しか辞書に入っていないようです。辞書のコンパイルが途中でエラーになって中断してしまったことが疑われます。辞書のコンパイル時には、コマンドプロンプトの表示をよく確認してください。

[MS202512]

樋口先生

バックアップのChasen辞書を入れましたところ直りました。
ありがとうございました。
先生のお時間を使ってしまったことで非常に申し訳ない気持ちでいっぱいです。
どのようにしてお返ししたらよいでしょうか。
＞現状の形態素解析の結果を見ると、未知語が非常に多く、わずかな言葉しか辞書に入っていないようです。辞書のコンパイルが途中＞でエラーになって中断してしまったことが疑われます。辞書のコンパイル時には、コマンドプロンプトの表示をよく確認してくださ＞い。
注意深さが足りませんでした。
このようなことがないようにいたします。

[ko-ichi-h]

いえいえ、トラブルシューティングの事例をまた1つこの掲示板に蓄積させていただいたのですから、それで十分以上です。根気よくお付き合いいただきありがとうございました。

---

それとは別の話としてお読みいただきたいのですが、KH Coder 3 Beta版のサポート（バグ改修等）は終了していますので、たとえば人に見せたり論文に載せるような重要な分析については、KH Coder 3正式版のご利用をお勧めしております。今のところ、おそらく同じ分析結果になろうかとは思うのですが。

[MS202512]

樋口先生

お返事ありがとうございます。
有償版についてお知らせありがとうございます。検討したいと思います。