Linuxでの文字化けを避けるためのMeCab設定

[01123581321345589-144233377]

お使いのKH Coderのバージョン

KH Coder 3.Beta.08g on linux.

エラー・不具合について詳しくお書きください

■お使いのOS
→Chromebook linux仮想環境

■KH Coderのインストール先フォルダ（解凍先フォルダ）
→/home/mat/khcoder

■どんなエラー・不具合・問題ですか？
→読み込ませたファイルが文字化けをして分析が正しく行えていない

■スクリーンショット

■どのように操作すればその問題を再現できますか？
→Chromebookで操作する?

■エラー・メッセージ

■その問題はチュートリアルの漱石「こころ」データでも同様に発生しましたか？
→チュートリアルファイルが見つかりません

■その問題を再現できるファイル（群）
kokoro_sample.csv

■分析しようとしているのは何語のテキストですか？
→日本語

■分析対象として指定しているファイルの形式は何ですか？
→.CSV

■お使いのセキュリティ対策／ウイルス対策ソフトウェア
→Chromebook標準

■お使いのCPU
→不明→acer chromebook

コンソール・ウィンドウの表示内容（Macではターミナルの表示内容）を貼り付けてください

Console messages...

Encoding of this Console: UTF-8
Encoding of this file system: UTF-8
Perl/Tk: 804.036
This is KH Coder 3.Beta.08g on linux.
CWD: /home/mat/khcoder
Do not minimize Console window...
starting R: "/usr/bin/R" --slave --vanilla 
Warning in Sys.setlocale(category = "LC_ALL", locale = "ja_JP.UTF-8") :
  OS reports request to set locale to "ja_JP.UTF-8" cannot be honored
R Version: 4.2, x86_64
Using un-threaded functions...
Image::Magick is not installed. Cannot resize icon: proj_new
Image::Magick is not installed. Cannot resize icon: proj_open
Image::Magick is not installed. Cannot resize icon: proj_tuto
Image::Magick is not installed. Cannot resize icon: proj_tuto_folder
Image::Magick is not installed. Cannot resize icon: prep
Image::Magick is not installed. Cannot resize icon: prep_force
Image::Magick is not installed. Cannot resize icon: prep_possible
Image::Magick is not installed. Cannot resize icon: prep_check
Image::Magick is not installed. Cannot resize icon: words_freq
Image::Magick is not installed. Cannot resize icon: words_netcloud
Image::Magick is not installed. Cannot resize icon: words_net
Image::Magick is not installed. Cannot resize icon: words_corr
Image::Magick is not installed. Cannot resize icon: codes_freq
Image::Magick is not installed. Cannot resize icon: codes_cross
Image::Magick is not installed. Cannot resize icon: codes_cls
Image::Magick is not installed. Cannot resize icon: codes_new
Connected to MySQL 10.11, khc4.
Data dir: /home/mat/khcoder/config/khc4/
Connected to MySQL 10.11, khc4.
Specified target file is copied to: /home/mat/khcoder/config/khc4/khc4_tgt.xls
Connected to MySQL 10.11, khc5.
Data dir: /home/mat/khcoder/config/khc5/
Connected to MySQL 10.11, khc5.
Specified target file is copied to: /home/mat/khcoder/config/khc5/khc5_tgt.xls
Connected to MySQL 10.11, khc6.
Data dir: /home/mat/khcoder/config/khc6/
Connected to MySQL 10.11, khc6.
Specified target file is copied to: /home/mat/khcoder/config/khc6/khc6_tgt.xls
Checking icode (jp3)... utf8
Connected to MySQL 10.11, khc7.
Data dir: /home/mat/khcoder/config/khc7/
Connected to MySQL 10.11, khc7.
Specified target file is copied to: /home/mat/khcoder/config/khc7/khc7_tgt.csv
Checking icode (jp3)... utf8
Conv:    0 wallclock secs ( 0.00 usr +  0.00 sys =  0.00 CPU)
done:  00:00:03
Checking icode (jp2)... euc-jp
command line: mecab -p  -Ochasen -o "/home/mat/khcoder/config/khc7/khc7_ch.txt.tmp" "/home/mat/khcoder/config/khc7/khc7_mph.txt.tmp"
Morpho1  0 wallclock secs ( 0.04 usr  0.02 sys +  0.01 cusr  0.03 csys =  0.10 CPU)
        Single row: 932 bytes
        The HEAP table will eat approx. 1MB; We have 16MB max.
Read     1 wallclock secs ( 0.00 usr +  0.01 sys =  0.01 CPU)
Format   1 wallclock secs ( 0.02 usr +  0.00 sys =  0.02 CPU)
Strat1   1 wallclock secs ( 0.04 usr +  0.03 sys =  0.07 CPU)
Strat2   2 wallclock secs ( 0.01 usr +  0.00 sys =  0.01 CPU)
RawTXT   0 wallclock secs ( 0.01 usr +  0.00 sys =  0.01 CPU)
 df: heap  df: heap  df: heap df         1 wallclock secs ( 0.01 usr +  0.01 sys =  0.02 CPU)
fc       0 wallclock secs ( 0.00 usr +  0.00 sys =  0.00 CPU)
Check    0 wallclock secs ( 0.00 usr +  0.00 sys =  0.00 CPU)
fix_morpho       0 wallclock secs ( 0.00 usr +  0.00 sys =  0.00 CPU)
fix_unknown      0 wallclock secs ( 0.00 usr +  0.00 sys =  0.00 CPU)
fix_headings     1 wallclock secs ( 0.01 usr +  0.01 sys =  0.02 CPU)
make_cache       0 wallclock secs ( 0.00 usr +  0.00 sys =  0.00 CPU)
clear_tmp        0 wallclock secs ( 0.01 usr +  0.00 sys =  0.01 CPU)
MySQL: FLUSH
Morpho File: /home/mat/khcoder/config/khc7/khc7_ch.txt
ok   ok   ok   ok   ok   ok   ok   ok   kh_cod::search -> coding...
        Could NOT find the word : "s"
INSERT INTO ct_h5_ccode_1 (id, num)
SELECT h5.id, 0
FROM h5
WHERE
        0


kh_cod::search -> coding...
        Could NOT find the word : "先生"
INSERT INTO ct_h5_ccode_1 (id, num)
SELECT h5.id, 0
FROM h5
WHERE
        0


kh_cod::search -> coding...
        Could NOT find the word : "先生"
INSERT INTO ct_h5_ccode_1 (id, num)
SELECT h5.id, 0
FROM h5
WHERE
        0


Checking icode (jp3)... utf8
firefox 'https://khcoder.net/scr_monkin.html' &
sh: 1: firefox: not found
stage 2: -1, 0
ok   ok   ok   ok   ok   ok   ok   ok   ok   ok   ok   ok   ok   ok   ok   Connected to MySQL 10.11, khc7.
Checking icode (jp2)... euc-jp
command line: mecab -p  -Ochasen -o "/home/mat/khcoder/config/khc7/khc7_ch.txt.tmp" "/home/mat/khcoder/config/khc7/khc7_mph.txt.tmp"
Morpho1  0 wallclock secs ( 0.04 usr  0.01 sys +  0.01 cusr  0.00 csys =  0.06 CPU)
        Single row: 932 bytes
        The HEAP table will eat approx. 1MB; We have 16MB max.
Read     1 wallclock secs ( 0.00 usr +  0.01 sys =  0.01 CPU)
Format   1 wallclock secs ( 0.01 usr +  0.00 sys =  0.01 CPU)
Strat1   1 wallclock secs ( 0.02 usr +  0.01 sys =  0.03 CPU)
Strat2   2 wallclock secs ( 0.01 usr +  0.00 sys =  0.01 CPU)
RawTXT   0 wallclock secs ( 0.01 usr +  0.00 sys =  0.01 CPU)
 df: heap  df: heap  df: heap df         0 wallclock secs ( 0.00 usr +  0.00 sys =  0.00 CPU)
fc       1 wallclock secs ( 0.01 usr +  0.01 sys =  0.02 CPU)
Check    0 wallclock secs ( 0.00 usr +  0.00 sys =  0.00 CPU)
fix_morpho       0 wallclock secs ( 0.00 usr +  0.00 sys =  0.00 CPU)
fix_unknown      0 wallclock secs ( 0.00 usr +  0.00 sys =  0.00 CPU)
fix_headings     1 wallclock secs ( 0.00 usr +  0.00 sys =  0.00 CPU)
make_cache       0 wallclock secs ( 0.00 usr +  0.00 sys =  0.00 CPU)
clear_tmp        0 wallclock secs ( 0.01 usr +  0.00 sys =  0.01 CPU)
MySQL: FLUSH
Morpho File: /home/mat/khcoder/config/khc7/khc7_ch.txt
win.ini changed:
5a6
> w_doc_search  617x465+450+194
7a9
> w_morpho_detail       279x277+619+288
saving win.ini, tmp file: /home/mat/khcoder/config/win.ini.im6sZ
Killed

[ko-ichi-h]

Linuxへのインストールはけっこう大変だと思います。

Morpho File: /home/mat/khcoder/config/khc7/khc7_ch.txt

このファイルをテキストエディタで開くと、文字化けしていますか？　また（文字化けしていない場合）文字コードは何になっているでしょうか？

このファイルの内容が正常であれば、形態素解析までは正常に行われていることが分かります。

[01123581321345589-144233377]

回答していただき、ありがとうございます。

このようなファイルになっていました。
khc7_ch.txt

UTF-8ですが、それを正しく表示できてない状態に見えます。
ただ、このファイルが正常かどうかはわかりません。

[ko-ichi-h]

文字化けしていますので、MeCabによる語の取り出し（形態素解析）の段階でつまづいているようです。

詳細マニュアル +alpha 「A.1.3 設定」「語を抽出する方法」（p. 118）2段落目に記載のように、メニューから［プロジェクト］［設定］を選択し、開いた画面で［語を抽出する方法］→［MeCab］→［辞書の文字コードはUTF-8］にチェックを入れてみるといかがでしょう？

[01123581321345589-144233377]

無事に実行することができました!
文字化けも治りました。

ありがとうございました！。
これで探求を続けられそうです。

[ko-ichi-h]

辞書に載っていない語に対して、「未知語」という品詞名が与えられずに、MeCabによって品詞名が推定されているようです。これがダメというわけではありません。ただ、同じ語であっても、前後の文脈によって異なる品詞名が与えられて、違う語と認識される場合があります。

それを避けて、「未知語」という品詞名で統一するには、詳細マニュアル +alphaの「A.2.3　茶筌とMeCabの設定」をご覧ください。