[scielo-tools-18] Adicionar app ia by gitnnolabs · Pull Request #25 · scieloorg/scielo-tools

gitnnolabs · 2026-07-02T10:28:22Z

O que esse PR faz?

Adiciona o app Django ia de forma autônoma e reusável, com modelos de configuração de provedores (Gemini, Ollama, HuggingFace), serviço de orquestração LLM, tarefas de download, exceções de domínio, utilitários e integração com Wagtail Admin. Mantém o grupo IA Models no menu de Settings do Wagtail para preservar o comportamento padrão de navegação do admin. Também expõe IA Models no menu principal, sem ocultar entradas padrão já existentes no admin. Remove o filtro global de menu em core/wagtail_hooks.py que mantinha apenas sps_package_validation, restaurando a navegação padrão completa do Wagtail.

Onde a revisão poderia começar?

ia/models.py, ia/wagtail_hooks.py, ia/service.py, config/settings/base.py, config/urls.py.

Como este poderia ser testado manualmente?

Instalar dependências: pip install -r requirements/local.txt.
Executar migrações: python manage.py migrate.
Validar projeto: python manage.py check.
Acessar /admin/ e confirmar o grupo IA Models em Settings com snippets HuggingFace, Ollama e Gemini.
Baixar modelo Hugging Face:
1. Abrir Settings > IA Models > HuggingFace.
2. Criar registro com:
  - Model name: hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF
  - Model file: llama-3.2-3b-instruct-q4_k_m.gguf
  - HuggingFace token: token pessoal de leitura
3. Salvar e confirmar início do download (status Downloading no admin).
4. Aguardar status Downloaded.
Testar integração Ollama:
1. Garantir serviço local do Ollama ativo.
2. Abrir Settings > IA Models > Ollama.
3. Informar URL http://localhost:11434.
4. Clicar em Fetch models, selecionar um modelo e validar preenchimento de context_limit.
No shell Django, executar from ia.service import LLMService para validar import.
Opcional: configurar modelo Gemini em Settings > IA Models > Gemini para validar seleção de provider por prioridade.

Como este poderia ser testado automaticamente?

Executar pytest ia/tests.
Validar que os testes cobrem:
- unicidade de modelo ativo por provider em ia.models;
- seleção de provider no LLMService;
- endpoints AJAX de Ollama em admin/ia/;
- comportamento de IAAdminModelForm.save_all para criação e atualização;
- decisões do IADatabaseRouter com e sem ia_db;
- fluxo de mark_reference e mark_references com sucesso e erro inesperado.

Algum cenário de contexto que queira dar?

O app foi estruturado para funcionar sem dependências de core.models e core.forms, permitindo reuso em outros projetos Django/Wagtail. Foi incluído IADatabaseRouter para cenários com banco dedicado ia_db.

Screenshots

N/A

Quais são tickets relevantes?

N/A

Referências

… markup

gitnnolabs · 2026-07-02T10:28:33Z

Rodando os teste unitários:

make test

Rodando o check:

make django_bash
python manage.py check

Garantir que não tenha chamadas de core.models ou core.forms na pasta ia:

Telas em ambiente de desenvolvimento:

Migrações executadas com sucesso:

make django_bash 
python manage.py migrate
python manage.py showmigrations ia

pitangainnovare

Sugiro que algumas alterações de arquitetura sejam feitas, se houver tempo. Por exemplo:
- Em lugar de ter prompts hardcoded, poderia haver um modelo Django/Wagtail para registrarmos e associar isso aos campos/grupos de dados
  - PromptField
    - prompt (o prompt em si)
    - language (o idioma do prompt)
    - target field (o campo alvo, por exemplo, title, author name, etc).
    - target group (back, body, end)
Sugiro também que o uso de um modelo de IA seja configurável globalmente ou por documento ou por grupo ou por campo
- Podemos querer usar para um mesmo DOCX o modelo mais poderoso para obter metadados, o mais simples para obter os títulos das seções, etc.

pitangainnovare · 2026-07-03T16:12:00Z

@@ -0,0 +1,34 @@
+Preciso criar uma sequencia de issue no github como tarefa.


Sugiro remover este arquivo do PR, pois é uma instrução específica para LLM gerar código ou ajustar o repositório.

pitangainnovare · 2026-07-03T16:14:04Z

@@ -0,0 +1,26 @@
+MESSAGES = [


Sugiro ter no lugar deste arquivo (back.py) um modelo Django para administrar prompts por:

Idioma

Campo

Grupo (front, body, back)

pitangainnovare · 2026-07-03T16:14:18Z

@@ -0,0 +1,113 @@
+import json


Sugiro ter no lugar deste arquivo (front.py) um modelo Django para administrar prompts por:

Idioma

Campo

Grupo (front, body, back)

pitangainnovare · 2026-07-03T16:14:27Z

@@ -0,0 +1,62 @@
+VISION_TASKS = [


Sugiro ter no lugar deste arquivo (vision.py) um modelo Django para administrar prompts por:

Idioma

Campo

Grupo (front, body, back)

pitangainnovare · 2026-07-03T16:21:07Z

+logger = logging.getLogger(__name__)
+
+
+def extract_text_from_docx(docx_path, limit_chars=30000):


Isso é um utilitário que recebe um .DOCX e entrega todos os conteúdos textuais (w:t). Usa etree exclusivamente a partir de word/document.xml, que é o principal arquivo onde há coisas de conteúdo do Word.

É preciso avaliar se é a melhor estratégia ou se falta algum campo que não estamos enxergando (texto dentro de caixas de texto, texto em rodapé, etc). Se quiser extrair também cabeçalho, rodapé, notas e comentários, aí precisa ler outros arquivos do .docx, não só word/document.xml.

Seria interessante ter testes unitários para isso (que avaliam a extração de textos desses campos)

pitangainnovare · 2026-07-03T16:35:25Z

+logger = logging.getLogger(__name__)
+
+
+def ollama_tags(request):


Tem mais cara de view (poderia estar em views.py)

pitangainnovare · 2026-07-03T16:36:22Z

 ROOT_DIR = Path(__file__).resolve(strict=True).parent.parent.parent
 # core/
 APPS_DIR = ROOT_DIR / "core"
+LLAMA_MODEL_DIR = ROOT_DIR / "ia/download"


Sugiro que o diretório de modelos seja ia/models/*

pitangainnovare · 2026-07-03T16:37:39Z

@@ -0,0 +1,8 @@
+JSON_INSTRUCTION = (


Aqui tem uma espécie de prompt. Sugiro que seja removido (em favor de um modelo no banco que guarde prompts, campo alvo, formato de resposta, etc).

pitangainnovare · 2026-07-03T16:39:13Z

+logger = logging.getLogger(__name__)
+
+
+class LocalProvider:


Pelo que entendi, esse aqui é o modelo HuggingFace, certo? Talvez precisemos ajustar os nomes

Gemini

Ollama

HuggingFace (apesar de que isso aqui é uma plataforma).

E de certo modo, Ollama tbm é local, por isso, LocalProvider pode não ser o termo correto aqui.

pitangainnovare · 2026-07-03T16:41:22Z

@@ -0,0 +1,63 @@
+from ia.utils.normalizers import stz_language
+


Sobre esse arquivo blocks.py, olhando apenas o código, não fica clara a utilidade disso. Lembro que em alguma versão, nós tinhamos blocos de texto no Wagtail:

Parágrafo

Parágrafo com Idioma

etc.

Mas talvez isso deva ser um modelo (com que achava que fosse vendo a aplicação funcionar).

gitnnolabs · 2026-07-03T19:31:07Z

@pitangainnovare grato, vou analisar os comentários.

[scielo-tools-18] feature: Add the app IA to use in the future to XML…

cbc5bb8

… markup

gitnnolabs requested a review from Rossi-Luciano July 2, 2026 10:28

gitnnolabs self-assigned this Jul 2, 2026

gitnnolabs added the enhancement New feature or request label Jul 2, 2026

gitnnolabs requested review from eduranm, pitangainnovare, robertatakenaka and samuelveigarangel July 2, 2026 12:04

pitangainnovare reviewed Jul 3, 2026

View reviewed changes

pitangainnovare self-assigned this Jul 3, 2026

pitangainnovare removed their assignment Jul 5, 2026

		@@ -0,0 +1,34 @@
		Preciso criar uma sequencia de issue no github como tarefa.

		logger = logging.getLogger(__name__)


		def extract_text_from_docx(docx_path, limit_chars=30000):

		logger = logging.getLogger(__name__)


		def ollama_tags(request):

		@@ -0,0 +1,63 @@
		from ia.utils.normalizers import stz_language

Uh oh!

Conversation

gitnnolabs commented Jul 2, 2026 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

O que esse PR faz?

Onde a revisão poderia começar?

Como este poderia ser testado manualmente?

Como este poderia ser testado automaticamente?

Algum cenário de contexto que queira dar?

Screenshots

Quais são tickets relevantes?

Referências

Uh oh!

gitnnolabs commented Jul 2, 2026

Uh oh!

pitangainnovare left a comment

Choose a reason for hiding this comment

Uh oh!

pitangainnovare Jul 3, 2026

Choose a reason for hiding this comment

Uh oh!

pitangainnovare Jul 3, 2026 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

pitangainnovare Jul 3, 2026 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

pitangainnovare Jul 3, 2026 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

pitangainnovare Jul 3, 2026

Choose a reason for hiding this comment

Uh oh!

pitangainnovare Jul 3, 2026

Choose a reason for hiding this comment

Uh oh!

pitangainnovare Jul 3, 2026

Choose a reason for hiding this comment

Uh oh!

pitangainnovare Jul 3, 2026

Choose a reason for hiding this comment

Uh oh!

pitangainnovare Jul 3, 2026

Choose a reason for hiding this comment

Uh oh!

pitangainnovare Jul 3, 2026 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

gitnnolabs commented Jul 3, 2026

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

2 participants

gitnnolabs commented Jul 2, 2026 •

edited

Loading

pitangainnovare Jul 3, 2026 •

edited

Loading

pitangainnovare Jul 3, 2026 •

edited

Loading

pitangainnovare Jul 3, 2026 •

edited

Loading

pitangainnovare Jul 3, 2026 •

edited

Loading