Adapt for json

[w256]

大変便利にありがたく使わせていただいております。
mysqlのフィールドにjsonを使っている場合でも、esに登録できるように改変しました。

以下は改変作業の具体的な内容となります。

---

mysqlのgeometoryフィールドに以下のようなjsonが入っており、それをesにロードしたい場合、うまくいかない事象がありました。

• {"type": "Polygon", "coordinates": [[[136.8, 35.1], [136.8001, 35.1], [136.8001, 35.10001], [136.8, 35.100012], [136.8, 35.1]]]}

そこで、esに送信しているデータを確認しましたところ、本対応前は以下のようになっていました。

• "geometry":"{"type": "Polygon", "coordinates": [[[136.8, 35.1], [136.8001, 35.1], [136.8001, 35.10001], [136.8, 35.100012], [136.8, 35.1]]]}"}

以下のように登録前に置換を行うように変更したところロードが成功するようになりました。

1. 「\"」を 「"」に置換
2. 「"{」を 「{」に置換
3. 「"}」を 「}」に置換

[y-ken]

すみません、こちらは副作用が想定できるため対応が検討中のままでした。
JSON型と判定できる中身の場合に、エスケープしない処理をする手法が良さそうです。

[y-ken]

ご報告と PR、ありがとうございます。ここで挙げていただいた問題は #48（マージ済み・v1.2.0 で同梱）で別アプローチにより解決しましたので、その内容を共有したうえでクローズさせてください。

同じ問題が解決します

ご提示の geometry 列（{"type": "Polygon", "coordinates": [[[136.8, 35.1], ...]]}）は、対応前は Elasticsearch にエスケープされた文字列として届いていました:

"geometry":"{\"type\": \"Polygon\", \"coordinates\": [[[136.8, 35.1], ...]]}"

#48 で追加した json_columns を使い、対象列を指定すると:

# mysql_replicator の場合
json_columns geometry

その列だけを JSON.parse してから送信するため、ネストされたオブジェクトとして正しくインデックスされます:

"geometry":{"type":"Polygon","coordinates":[[[136.8,35.1], ...]]}

mysql_replicator_multi でも、settings テーブルの json_columns 列に同様に指定できます。

なぜ置換ではなくこの方式にしたか

いただいた \"→" / "{→{ / "}→} の置換案は、出力前のすべての列・すべての値に無条件で適用されるため、JSON ではない通常のテキスト列にたまたま "{ や \" が含まれていると壊れてしまう懸念がありました。

json_columns 方式は:

• 指定した列だけを対象にし、他の列には一切触れません。
• 文字列の機械的な置換ではなく JSON.parse で厳密にパースします。
• 不正な JSON / 文字列以外の値はそのまま残すので、非 JSON データを壊しません。

という点で、同じ目的をより安全に達成できます。

この機能はまさにこの Issue の要望から生まれたものです。ありがとうございました 🙏 v1.2.0 で利用可能になります。