Repository navigation
Wikidata: ingestão do dump completo e endpoint alternativo ao QLever #29
Description
Pendência da spec 004 (ADR 0004). O adaptador wikidata lê páginas de consultas SPARQL no QLever (qlever.dev/api/wikidata), um serviço acadêmico sem acordo de nível de serviço.
- Avaliar a leitura do dump JSON ou TTL do Wikidata (
dumps.wikimedia.org/wikidatawiki/entities/) filtrando os itens de nome, com custo de tempo e disco medidos - Avaliar um endpoint alternativo (WDQS paginado por classe, ou QLever próprio) para quando o QLever público sair do ar
- Detectar mudança de índice entre páginas de uma consulta (hoje uma linha pode faltar na fronteira sem erro)
Activity
matbrgz commentedon Oct 12, 2026
Da revisão do PR #34: a perda de uma linha na fronteira entre páginas (item removido antes no índice entre dois downloads) é a única falha de paginação que os guardas atuais não pegam. Correção barata que mantém URLs fixas: cada página depois da primeira começa uma linha antes (
OFFSET k*N - 1,LIMIT N + 1);linhas()confere que a primeira linha da página k+1 é igual à última da página k, levantaFormatErrorpedindofetch --refreshse não for, e descarta a linha repetida.