Une IA locale sur son homelab avec Ollama et Open WebUI

Pour les notions de modèle, de jeton et de quantification, voir l'IA générative expliquée simplement.

1. L'architecture

Ollama est installé directement sur le système, pour un accès simple à la carte graphique ; Open WebUI tourne dans un conteneur Docker.

2. Le matériel et le choix du modèle

Le facteur limitant est la mémoire de la carte graphique (VRAM). Sans carte graphique, Ollama fonctionne sur le processeur et la mémoire vive, mais beaucoup plus lentement : utilisable pour de petits modèles, pénible au-delà.

Les cartes NVIDIA sont les mieux prises en charge (CUDA). Les cartes AMD récentes fonctionnent avec ROCm, avec une liste de compatibilité plus restreinte.

Quel modèle ?

La bibliothèque d'Ollama recense les modèles disponibles, avec leurs tailles. Quelques familles ouvertes reconnues :

Commencez par un modèle de 7 à 8 milliards de paramètres si vous avez 8 Go de VRAM, puis comparez sur vos propres usages : les classements généraux ne remplacent pas un essai sur vos questions.

3. Installer Ollama

Sur une Debian 13 à jour, avec un compte disposant de sudo :

curl -fsSL https://ollama.com/install.sh | sh

Le script installe Ollama, crée l'utilisateur système ollama et le service systemd ollama. Pour une carte NVIDIA, installez d'abord le pilote propriétaire et CUDA (voir la documentation d'Ollama), puis vérifiez que la carte est vue :

nvidia-smi

Vérifiez le service :

systemctl status ollama
curl http://127.0.0.1:11434/api/version

{"version":"0.x.y"}

4. Premiers pas avec Ollama

Télécharger et discuter avec un modèle (le nom et la taille se choisissent dans la bibliothèque) :

ollama run mistral

Tapez votre question, puis /bye pour quitter. Les commandes utiles :

Vérifiez que le modèle utilise bien la carte graphique :

ollama ps

NAME              ID              SIZE      PROCESSOR    CONTEXT    UNTIL
mistral:latest    6577803aa9a0    5.7 GB    100% GPU     4096       4 minutes from now

100% GPU : le modèle tient entièrement en VRAM. Une valeur partagée (48%/52% CPU/GPU) signifie qu'il déborde sur la mémoire vive, avec des réponses nettement plus lentes : choisissez un modèle plus petit ou une quantification plus forte.

L'API se teste directement :

curl http://127.0.0.1:11434/api/generate -d '{"model": "mistral", "prompt": "Explique le RAID 1 en une phrase.", "stream": false}'

5. Régler Ollama

Les réglages passent par des variables d'environnement du service. Ouvrez une surcharge du service :

sudo systemctl edit ollama

Ajoutez dans la zone prévue :

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_KEEP_ALIVE=15m"

Puis rechargez :

sudo systemctl daemon-reload
sudo systemctl restart ollama

6. Installer Open WebUI avec Docker Compose

Créez un dossier pour le service :

sudo mkdir -p /opt/open-webui
cd /opt/open-webui

Générez une clé secrète pour les sessions :

openssl rand -hex 32

Créez le fichier /opt/open-webui/compose.yaml, en remplaçant la valeur de WEBUI_SECRET_KEY par la clé générée :

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: always
    ports:
      - "3000:8080"
    extra_hosts:
      - "host.docker.internal:host-gateway"
    environment:
      OLLAMA_BASE_URL: "http://host.docker.internal:11434"
      WEBUI_SECRET_KEY: "remplacez-par-la-cle-generee"
    volumes:
      - open-webui:/app/backend/data

volumes:
  open-webui:

Démarrez :

sudo docker compose up -d
sudo docker compose logs -f

Quand les journaux indiquent que le serveur écoute, ouvrez http://IP-du-serveur:3000 depuis un poste du réseau.

Le premier compte

Le premier écran propose Create Admin Account : ce premier compte devient administrateur de l'instance. Créez-le immédiatement (par exemple spo), avec un mot de passe solide rangé dans votre gestionnaire de mots de passe : la perte de ce mot de passe bloque l'accès aux réglages. Les inscriptions se ferment ensuite d'elles-mêmes ; l'administrateur crée les comptes des autres utilisateurs dans le panneau d'administration.

Vos modèles Ollama apparaissent dans le sélecteur en haut de la conversation. Si la liste est vide, vérifiez OLLAMA_HOST (partie 5) et le pare-feu (partie 7).

Mettre à jour Open WebUI

cd /opt/open-webui
sudo docker compose pull
sudo docker compose up -d

Pour Ollama, relancez simplement le script d'installation : il met à jour le programme sans toucher aux modèles.

7. Sécuriser l'ensemble

Avec ufw, en supposant un réseau local 192.168.1.0/24 :

sudo ufw default deny incoming
sudo ufw allow from 192.168.1.0/24 to any port 22 proto tcp
sudo ufw allow from 192.168.1.0/24 to any port 3000 proto tcp
sudo ufw allow from 172.16.0.0/12 to any port 11434 proto tcp
sudo ufw enable

La troisième règle autorise uniquement les réseaux de Docker (plage 172.16.0.0/12) à joindre Ollama : Open WebUI y accède, les postes du réseau non. Ajoutez une règle pour un poste précis s'il doit utiliser l'API directement.

8. Aller plus loin

9. En cas de problème

À retenir

• Ollama fait tourner les modèles, Open WebUI fournit l'interface : vos données restent sur votre réseau.
• La VRAM décide de la taille du modèle : 8 Go pour un modèle de 7 à 8 milliards de paramètres ; vérifiez 100% GPU avec ollama ps.
• OLLAMA_HOST=0.0.0.0:11434 pour qu'Open WebUI le joigne, mais jamais d'exposition du port 11434 : l'API n'a pas d'authentification.
• Open WebUI : créez le compte administrateur immédiatement, sauvegardez le volume, mettez à jour régulièrement.
• Accès distant par VPN, HTTPS par reverse proxy, et attention aux ports publiés par Docker qui contournent ufw.