🎨 Guida Open-WebUI - Configurazione Completa

📋 Come Funziona l'Integrazione

Open-WebUI è configurato per usare DUE sorgenti di modelli:

┌─────────────────────────────────────────────────────────────┐
│                       Open-WebUI                            │
│                    (localhost:3055)                         │
└────────────┬──────────────────────────────┬─────────────────┘
             │                              │
             │                              │
    ┌────────▼────────┐            ┌────────▼────────────┐
    │     Ollama      │            │   LiteLLM Proxy     │
    │  (localhost)    │            │  (localhost:4000)   │
    │                 │            │                     │
    │  • llama3.2     │            │  • Claude (paid)    │
    │  • codellama    │            │  • GPT (paid)       │
    │  • gemma3       │            │  • Ollama (local)   │
    │  • mistral      │            │  • Azure, etc.      │
    └─────────────────┘            └─────────────────────┘
         LOCALE                      MULTI-PROVIDER
         GRATIS                      (alcune a pagamento)

🔧 Configurazione in Open-WebUI

Passo 1: Accedi a Open-WebUI

Apri: http://localhost:3055
Primo accesso: Crea un account (diventerai automaticamente admin)
Dopo il primo utente, le registrazioni sono disabilitate per sicurezza

Passo 2: Configura Connessioni

A) Modelli Ollama Locali (GIÀ CONFIGURATO ✅)

Open-WebUI vede automaticamente i modelli Ollama:

✅ llama3.2:3b
✅ llama3.2:latest
✅ codellama:latest
✅ gemma3:latest
✅ embeddinggemma:latest

Questi funzionano subito, nessuna configurazione richiesta!

B) Modelli via LiteLLM (Claude, GPT, etc.)

Per usare modelli esterni (Claude, GPT, ecc.) tramite LiteLLM:

In Open-WebUI, vai a:
- Click sull'icona del profilo (in alto a destra)
- Settings → Connections (o Admin Panel → Settings)

Aggiungi OpenAI API (LiteLLM è compatibile):

OpenAI API Base URL: http://litellm:4000/v1
OpenAI API Key: ${LITELLM_MASTER_KEY}

Salva e ricarica la pagina

🔑 Come Abilitare Claude/GPT in LiteLLM

I modelli Claude che vedi nel database di LiteLLM sono disponibili, ma non funzionano senza chiavi API.

Per usare Claude (Anthropic):

Ottieni una API key:
- Vai su: https://console.anthropic.com/
- Crea un account
- Genera una API key
- Costa: ~$15 per 1M token input (Claude Sonnet)

Aggiungi la chiave nel file .env:

nano /opt/litellm/.env

Decommenta e aggiungi:

ANTHROPIC_API_KEY="sk-ant-tua-chiave-qui"

Riavvia LiteLLM:
```
docker compose restart litellm
```
Ora Claude funzionerà sia via API LiteLLM che in Open-WebUI!

Per usare OpenAI (GPT):

Ottieni una API key:
- Vai su: https://platform.openai.com/
- Crea un account e aggiungi credito
- Genera una API key
- Costa: ~$15 per 1M token input (GPT-4o)

Aggiungi nel .env:

OPENAI_API_KEY="sk-tua-chiave-openai-qui"

Riavvia:
```
docker compose restart litellm
```

🎯 Come Vedere i Modelli in Open-WebUI

Opzione 1: Via Interfaccia Web

Apri Open-WebUI: http://localhost:3055
Nella chat, clicca sul selettore modelli (in alto)
Dovresti vedere:
- Sezione Ollama: modelli locali
- Sezione OpenAI (se configurato): modelli via LiteLLM

Opzione 2: Configura Manualmente le Connessioni

Se i modelli LiteLLM non appaiono automaticamente:

Settings → Admin Panel → Connections
Aggiungi OpenAI Connection:
- URL: http://litellm:4000/v1
- API Key: ${LITELLM_MASTER_KEY}
- ✅ Enable
Verifica disponibilità modelli:
- Settings → Admin Panel → Models
- Dovresti vedere tutti i modelli configurati in LiteLLM

💡 Perché Vedi Modelli Claude ma Non Funzionano?

LiteLLM ha i modelli Claude pre-configurati nel database, ma sono inattivi perché:

❌ Non hai una chiave API di Anthropic nel file .env
❌ Senza chiave, LiteLLM non può contattare i server di Anthropic
✅ Soluzione: Aggiungi la chiave API (vedi sopra) oppure usa solo modelli Ollama locali

🆓 Usa Solo Modelli Locali (Gratis)

Se non vuoi pagare per Claude/GPT, usa solo i modelli Ollama locali:

Modelli Consigliati per RTX 3080 (10GB):

# Già installati:
docker exec ollama ollama list

# Scarica altri modelli gratis:
docker exec ollama ollama pull mistral:7b           # Ottimo generale
docker exec ollama ollama pull qwen2.5:7b          # Eccellente per coding
docker exec ollama ollama pull deepseek-coder:6.7b # Specializzato coding
docker exec ollama ollama pull llava:latest        # Per analizzare immagini
docker exec ollama ollama pull phi3:medium         # Leggero e veloce

# Modelli più grandi (usano quasi tutta la VRAM):
docker exec ollama ollama pull llama3.1:70b-q4     # Quantizzato 4-bit

Poi aggiungili a LiteLLM:

# Usa lo script automatico
./add_ollama_models.sh

# Oppure aggiungi manualmente ogni nuovo modello:
curl -X POST http://localhost:4000/model/new \
  -H "Authorization: Bearer ${LITELLM_MASTER_KEY}" \
  -H "Content-Type: application/json" \
  -d '{
    "model_name": "mistral",
    "litellm_params": {
      "model": "ollama_chat/mistral:7b",
      "api_base": "http://ollama:11434"
    }
  }'

🔍 Verifica Configurazione Open-WebUI

1. Verifica Connessione a Ollama

In Open-WebUI:

Crea una nuova chat
Seleziona modello: llama3.2:3b o llama3.2:latest
Scrivi: "Ciao!"
✅ Dovrebbe rispondere immediatamente (modello locale)

2. Verifica Connessione a LiteLLM

Prima assicurati che LiteLLM sia configurato in Open-WebUI:

Settings → Admin Panel → Connections → OpenAI API:

Base URL: http://litellm:4000/v1
API Key: ${LITELLM_MASTER_KEY}

Poi:

Seleziona modello: llama3.2-3b (tramite LiteLLM)
Scrivi: "Test"
✅ Dovrebbe funzionare (stesso modello, ma tramite proxy)

3. Verifica Modelli Disponibili

In Open-WebUI, nel selettore modelli dovresti vedere:

Ollama (modelli locali):

llama3.2:3b
llama3.2:latest
codellama:latest
gemma3:latest
embeddinggemma:latest

OpenAI/LiteLLM (se configurato):

llama3.2-3b (tramite LiteLLM)
llama3.2 (tramite LiteLLM)
codellama (tramite LiteLLM)
gemma3 (tramite LiteLLM)
claude-sonnet-4 (⚠️ richiede ANTHROPIC_API_KEY)
claude-opus-4 (⚠️ richiede ANTHROPIC_API_KEY)
gpt-4 (⚠️ richiede OPENAI_API_KEY)

🎨 Features Avanzate Open-WebUI

1. RAG (Retrieval Augmented Generation)

Carica documenti per farli analizzare dall'AI:

Click su "+" → Upload Document
Carica PDF, DOCX, TXT, MD
Seleziona modello embedding: embeddinggemma:latest
Fai domande sui documenti caricati

2. Web Search

Abilita ricerca web (se configurata):

Settings → Features → Web Search
Permette all'AI di cercare informazioni online

3. Image Generation

Se configuri un modello di generazione immagini:

Ollama: docker exec ollama ollama pull stable-diffusion
Oppure usa DALL-E tramite OpenAI (a pagamento)

4. Voice Input

Open-WebUI supporta input vocale:

Settings → Audio → Enable Speech-to-Text
Richiede configurazione Whisper o servizi cloud

🆘 Troubleshooting

"No models available" in Open-WebUI

Soluzione:

# Verifica che Ollama funzioni
docker exec ollama ollama list

# Riavvia Open-WebUI
docker compose restart ui

# Controlla logs
docker compose logs ui

Modelli LiteLLM non visibili

Soluzione:

Verifica che LiteLLM funzioni:

curl http://localhost:4000/model/info \
  -H "Authorization: Bearer ${LITELLM_MASTER_KEY}"

Configura connessione OpenAI in Open-WebUI:
- Settings → Connections
- URL: http://litellm:4000/v1
- Key: ${LITELLM_MASTER_KEY}

Claude/GPT danno errore "Invalid API Key"

Causa: Non hai configurato le chiavi API nel file .env

Soluzione:

Ottieni chiavi API da Anthropic/OpenAI
Aggiungi nel .env
Riavvia: docker compose restart litellm

📊 Riepilogo: Cosa Usare

Scenario	Soluzione	Costo
Chat generale gratis	Ollama: llama3.2, mistral	🆓 Gratis
Coding gratis	Ollama: codellama, qwen2.5	🆓 Gratis
Massima qualità (paid)	Claude Sonnet 4 via LiteLLM	💰 ~$15/1M token
Analisi immagini gratis	Ollama: llava	🆓 Gratis
Embeddings per RAG	Ollama: embeddinggemma	🆓 Gratis
Multi-provider + fallback	LiteLLM Proxy	🆓 + 💰 (dipende)

✅ Riepilogo Setup Ideale

Configurazione consigliata per iniziare (GRATIS):

✅ Usa solo modelli Ollama locali
✅ Scarica modelli utili: mistral:7b, qwen2.5:7b
✅ Configura RAG con embeddinggemma
✅ Testa tutto tramite Open-WebUI

Quando sei pronto per modelli cloud (A PAGAMENTO):

💰 Ottieni API key di Anthropic o OpenAI
💰 Aggiungi nel .env
💰 Riavvia LiteLLM
💰 Usa Claude/GPT per task complessi

La configurazione attuale ti permette di usare modelli AI potenti completamente GRATIS sulla tua GPU! 🚀

Per domande: consulta SETUP_GUIDA.md e ESEMPI_USO.md

FilesExpand file tree

GUIDA_OPENWEBUI.md

Latest commit

History

GUIDA_OPENWEBUI.md

File metadata and controls

🎨 Guida Open-WebUI - Configurazione Completa

📋 Come Funziona l'Integrazione

🔧 Configurazione in Open-WebUI

Passo 1: Accedi a Open-WebUI

Passo 2: Configura Connessioni

A) Modelli Ollama Locali (GIÀ CONFIGURATO ✅)

B) Modelli via LiteLLM (Claude, GPT, etc.)

🔑 Come Abilitare Claude/GPT in LiteLLM

Per usare Claude (Anthropic):

Per usare OpenAI (GPT):

🎯 Come Vedere i Modelli in Open-WebUI

Opzione 1: Via Interfaccia Web

Opzione 2: Configura Manualmente le Connessioni

💡 Perché Vedi Modelli Claude ma Non Funzionano?

🆓 Usa Solo Modelli Locali (Gratis)

Modelli Consigliati per RTX 3080 (10GB):

Poi aggiungili a LiteLLM:

🔍 Verifica Configurazione Open-WebUI

1. Verifica Connessione a Ollama

2. Verifica Connessione a LiteLLM

3. Verifica Modelli Disponibili

🎨 Features Avanzate Open-WebUI

1. RAG (Retrieval Augmented Generation)

2. Web Search

3. Image Generation

4. Voice Input

🆘 Troubleshooting

"No models available" in Open-WebUI

Modelli LiteLLM non visibili

Claude/GPT danno errore "Invalid API Key"

📊 Riepilogo: Cosa Usare

✅ Riepilogo Setup Ideale