Open WebUI & Ollama: Die perfekte Open-Source-Alternative zu ChatGPT

Wer ChatGPT nutzt, schätzt die intuitive Benutzeroberfläche: Chats sind übersichtlich sortiert, man kann verschiedene Assistenten auswählen, Dokumente hochladen und sogar Bilder generieren lassen. Doch aus Datenschutzsicht ist das Senden von sensiblen Daten an OpenAI hochgradig problematisch.

Glücklicherweise gibt es ein Open-Source-Duo, das die exakt gleiche Benutzererfahrung bietet — allerdings auf Ihrem eigenen Server oder Rechner: Ollama und Open WebUI.

Was ist Ollama und Open WebUI?

Um eine eigene KI zu betreiben, benötigen wir zwei Komponenten:

1. Die KI-Engine (Ollama): Ollama läuft im Hintergrund und kümmert sich um das Laden und Ausführen der eigentlichen Sprachmodelle (z. B. Llama 3, Mistral, Gemma). Es fungiert als lokaler Server für KI-Berechnungen.
2. Die Benutzeroberfläche (Open WebUI): Open WebUI ist die grafische Oberfläche, die im Browser aufgerufen wird. Sie ist optisch stark an ChatGPT angelehnt und bietet Funktionen wie Chatverläufe, Benutzerverwaltung, RAG (Dokumentenanalyse) und API-Schnittstellen.

Die Vorteile des Setups

• 100% lokal: Alle Berechnungen laufen auf Ihrer Grafikkarte (GPU) oder Ihrem Server. Es werden keine Daten ins Internet geschickt.
• Keine monatlichen Kosten: Keine Abogebühren wie bei ChatGPT Plus. Sie nutzen die modernsten Open-Source-Modelle der Welt völlig kostenlos.
• Dokumenten-Analyse (RAG) integriert: Sie können PDFs, Word-Dateien oder Textdokumente direkt in das Chatfenster ziehen. Open WebUI liest diese ein und beantwortet Ihre Fragen dazu — komplett lokal.
• Multi-User-Support: Sie können Konten für Ihre Mitarbeiter oder Familienmitglieder anlegen. Jeder hat seinen eigenen Chatverlauf, während im Hintergrund alles über dieselbe Hardware läuft.

Einblick in das Docker-Setup

Am einfachsten lässt sich Open WebUI zusammen mit Ollama über Docker Compose auf Ihrem Linux-Server oder Ihrer lokalen Workstation bereitstellen:

version: '3.8'

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    volumes:
      - ollama:/root/.ollama
    ports:
      - "11434:11434"
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    volumes:
      - open-webui:/app/backend/data
    depends_on:
      - ollama

volumes:
  ollama:
  open-webui:

Mit diesem einfachen Docker-Compose-File startet das gesamte System inklusive NVIDIA-GPU-Unterstützung mit nur einem einzigen Befehl: docker compose up -d. Anschließend ist Ihre eigene, sichere ChatGPT-Alternative im Browser unter http://localhost:3000 erreichbar.