Skip to content

Source: Querido Diário — diários oficiais municipais (OKBR) #148

Description

@nataliasm23

Source

Status

Not started

Schema target

`data_br.qd_publicacoes` (id, ibge_code, data_publicacao, edicao, url_pdf, sha256_pdf, num_paginas, hash_texto, fonte_spider, ingested_at)
`data_br.qd_publicacoes_texto` (publicacao_id, conteudo_texto) — partição opcional, full-text index pg_trgm/tsvector.
Agregado mantido enxuto; texto completo na bronze (Iceberg) com Athena para busca em escala.

Wedge

Govtech / journalism / compliance — fecha o ciclo "transparência municipal":

Esta é a única fonte que dá ao `data-br` algo que `BrasilAPI` e `mcp-brasil` não têm: um corpus textual estruturado por município pronto para joins relacionais.

Pendente

  • Avaliar: republicar OKBR (rate-limit-friendly) ou apenas catalog + redirect API.
  • Política de retenção: PDFs originais ficam em S3 raw indefinidamente; texto extraído na bronze.
  • Sync incremental: usar `/gazettes?published_since=` para capturar deltas diários.
  • LGPD: PDFs já são públicos por lei — sem dados sensíveis a remover, só normalizar OCR.

Mencionado em

Tier-1 recommendation list — gap apontado durante audit do catálogo 2026-05. Complementa #68 (DOU federal).

Metadata

Metadata

Assignees

No one assigned

    Labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions