feat: TUI restructure — console UI, PostgreSQL sink, package reorganization

[starychenko]

Summary

• Console UI — інтерактивне меню (InquirerPy + rich) при запуску без аргументів: wizard експорту з OLAP та wizard імпорту XLSX
• Package restructure — olap_tool/ реорганізовано в core/, connection/, data/, sinks/, ui/
• PostgreSQL sink — новий PostgreSQLSink (psycopg2 COPY FROM STDIN), PG_* env vars
• Unified import script — scripts/import_xlsx.py замінює окремі import_xlsx_to_clickhouse.py та import_xlsx_to_duckdb.py
• Sinks refactor — sinks.py → modular sinks/base.py, sinks/clickhouse.py, sinks/duckdb.py, sinks/postgresql.py; silent mode для batch-імпорту
• Bug fixes — non-Nullable String handling в CH, XLSX vectorized write ~60x faster, sink error tracking, 4xx retry, NaN/inf, duplicate columns
• Utils migration — colorama → rich для консольного виводу
• README — актуалізовано під поточний функціонал

Test plan

• python olap.py — відкривається інтерактивне меню
• python olap.py --last-weeks 1 --format ch — CLI mode, ClickHouse sink працює без помилок is_tender
• python scripts/import_xlsx.py --target ch --dir result/ --year 2026 — batch import, чистий вивід без зайвих логів
• python scripts/import_xlsx.py --target pg --dir result/ --dry-run — PostgreSQL dry-run
• python -c "from olap_tool.sinks import ClickHouseSink, DuckDBSink, PostgreSQLSink; print('OK')" — imports OK

🤖 Generated with Claude Code

[chatgpt-codex-connector]

You have reached your Codex usage limits for code reviews. You can see your limits in the Codex usage dashboard.

[claude]

Claude finished @starychenko's task in 4m 1s —— View job

---

Огляд PR #6 — feat: TUI restructure

• Читання ключових файлів
• Перевірка архітектури (AppConfig, AnalyticsSink contract)
• Перевірка resource management
• Перевірка коректності та data integrity
• Перевірка конвенцій
• Thread safety
• Формування висновку

---

Резюме

PR реорганізує olap_tool/ на субпакети (core/, connection/, data/, sinks/, ui/), додає PostgreSQLSink через COPY FROM STDIN, замінює два окремі скрипти на scripts/import_xlsx.py, та реалізує інтерактивне консольне меню (InquirerPy + rich).

Вердикт: ✅ Approve з коментарями

Блокерів немає. Одна IMPORTANT проблема (тиха втрата помилок у batch-скрипті), кілька NIT.

---

Що зроблено добре

• AnalyticsSink контракт повністю реалізований в усіх трьох sinks (setup, delete_period, insert, close). Ідемпотентність дотримана скрізь — DELETE перед INSERT у кожному sink.
• Thread safety правильна: ClickHouse та PostgreSQL використовують ThreadLocalSinkPool (один sink на потік), DuckDB — один shared sink (requests.Session є thread-safe). _schema_lock у PG/DuckDB sinks захищає спільний кеш схеми.

---

[IMPORTANT] scripts/import_xlsx.py — тихе проковтування помилок

Рядки 169–170 та 188–190:

# Рядок 169-170: читання файлу
except Exception:
    return 0, False, time.monotonic() - t0   # виключення проковтується без логування

# Рядки 188-190: операції з sink
except Exception:
    return 0, False, time.monotonic() - t0   # аналогічно

Проблема в тому, що _process_file повертає (0, False, ...) замість того, щоб пробросити виключення. Зовнішній except Exception as e у циклі as_completed (рядок 402) ніколи не спрацює для помилок читання або sink — вони маскуються як тихий ❌. При batch-імпорті сотень файлів це унеможливлює діагностику: видно що N файлів впало, але не чому.

Мінімальний фікс — логувати помилку перед поверненням:

except Exception as exc:
    # logging enough to diagnose
    return 0, False, time.monotonic() - t0

Або пробросити виключення і дати outer handler у as_completed вивести деталі (він уже є на рядках 402–407 і вміє друкувати {e}).

Fix this →

---

NIT

requirements.txt:22 — коментар посилається на видалений скрипт:

openpyxl>=3.0.0  # Для читання Excel-файлів (import_xlsx_to_clickhouse.py)

→ замінити на (scripts/import_xlsx.py).

olap_tool/sinks/duckdb.py:180:

schema = dict(self._schema)  # type: ignore[arg-type]

_refresh_schema() щойно викликана (рядок 178) і завжди встановлює self._schema у dict, тому # type: ignore зайвий — self._schema гарантовано не None.

scripts/import_xlsx.py:394 — cfg_kwargs передається у _process_file навіть для DuckDB (де він ігнорується). Незначна плутанина в сигнатурі.

---

Перевірка блокерів (всі відсутні ✅)

Критерій	Статус
os.getenv() тільки в config.py / security.py	✅
Всі методи AnalyticsSink реалізовані	✅
DELETE WHERE year_num+week_num перед INSERT	✅
З'єднання закриваються у finally	✅
sanitize_df не дублюється	✅
SQL без f-string інтерполяції user-контрольованих даних	✅ (year/week — int, колонки — через sanitize_df)

[claude]

Claude finished @starychenko's task in 51s —— View job

---

• Читання ключових файлів
• Перевірка архітектури (AppConfig, AnalyticsSink contract)
• Перевірка resource management
• Перевірка коректності та data integrity
• Перевірка конвенцій
• Thread safety
• Формування висновку

---

Огляд PR #6 (оновлено після commit 9d0ed19)

Всі зауваження з попереднього рев'ю виправлені в останньому коміті.

Вердикт: ✅ Approve

---

Що виправлено

Зауваження	Статус
[IMPORTANT] _process_file проковтував exceptions без логування	✅ Виправлено — try/except прибрано, винятки тепер пробрасуються до outer handler у as_completed
[NIT] requirements.txt — застарілий коментар про import_xlsx_to_clickhouse.py	✅ Оновлено на scripts/import_xlsx.py
[NIT] duckdb.py:180 — зайвий # type: ignore[arg-type]	✅ Прибрано
[NIT] cfg_kwargs передавався у DuckDB де він ігнорується	✅ Виправлено — cfg_kwargs if sink_pool is not None else None

---

Перевірка блокерів (всі відсутні ✅)

Критерій	Статус
os.getenv() тільки в config.py / security.py	✅
Всі методи AnalyticsSink реалізовані	✅
DELETE WHERE year_num+week_num перед INSERT	✅
З'єднання закриваються у finally	✅
sanitize_df не дублюється	✅
SQL без f-string інтерполяції user-контрольованих даних	✅