日本語で分析を実施する際のストップワードの扱いについて #1379
お使いのKH Coderのバージョン3.03a Official Package ご質問の内容をお書きくださいKH Coderを使用した分析結果を学術雑誌に投稿したことがある研究者さま 日本語を使用した分析結果を海外の学術雑誌へ投稿することを計画しています。 マニュアルP19「Stop Wordsの扱い」にてストップワードは設定画面で指定できるとあるが「ChaSen」の場合はストップワードの設定欄がない。 これらの理解を統合した場合、KH Coderにおける日本語でのストップワードの扱いについて「語抽出の際にフィルター設定をすることで”する”、”ある”など一般的なストップワードは除外された」という文言は、理論的に問題ないのでしょうか？ 有識者の皆様からご意見頂戴できますと幸甚に存じます。何卒よろしくお願い申し上げます。 |
Replies: 1 comment 1 reply
|
KH Coderを開発している樋口と申します。 p. 19のストップワードについての記述は、あくまで「A.2.4 英語・中国語・韓国語およびヨーロッパ言語データの分析」についてでして、日本語を分析する場合には「ストップワード」というものは指定できません。紛らわしくて申し訳ございません。 お書きいただきました通り、日本語の場合には「助詞」「助動詞」など特定の品詞の語すべてと、「ある」「する」などひらがなのみの名詞・動詞・形容詞・副詞をデフォルトで除外しています。 この除外設定で事足りる場合が多いように思いますが、もし特定の語を分析から除外されたい場合には、［前処理］→［語の取捨選択］→［使用しない語］に当該の語を入力してください。 次に説明する際にストップワードという表現を使って良いかどうかですが、この表現を使った方が伝わりやすいと思われる場合は、お使いになって差し支えないものと私は考えます。「分析から除外する語」ということですから、ストップワードと同じ意味かと思います。私自身は、「助詞・助動詞などの機能語のほか、ひらがなのみからなる名詞・動詞・形容詞には、どのような文章にでも出現する一般的な語が多いため分析から除外した」というように書くことが多いでしょうか。これを「...一般的な語が多いためストップワードとして分析から除外した」と書いても問題ないように思います。 |
|
樋口先生 |
KH Coderを開発している樋口と申します。
書き込みありがとうございます。
p. 19のストップワードについての記述は、あくまで「A.2.4 英語・中国語・韓国語およびヨーロッパ言語データの分析」についてでして、日本語を分析する場合には「ストップワード」というものは指定できません。紛らわしくて申し訳ございません。
お書きいただきました通り、日本語の場合には「助詞」「助動詞」など特定の品詞の語すべてと、「ある」「する」などひらがなのみの名詞・動詞・形容詞・副詞をデフォルトで除外しています。
この除外設定で事足りる場合が多いように思いますが、もし特定の語を分析から除外されたい場合には、［前処理］→［語の取捨選択］→［使用しない語］に当該の語を入力してください。
次に説明する際にストップワードという表現を使って良いかどうかですが、この表現を使った方が伝わりやすいと思われる場合は、お使いになって差し支えないものと私は考えます。「分析から除外する語」ということですから、ストップワードと同じ意味かと思います。私自身は、「助詞・助動詞などの機能語のほか、ひらがなのみからなる名詞・動詞・形容詞には、どのような文章にでも出現する一般的な語が多いため分析から除外した」というように書くことが多いでしょうか。これを「...一般的な語が多いためストップワードとして分析から除外した」と書いても問題ないように思います。