Lokale LLMs für Anwälte und Ärzte: So gelingt der DSGVO-konforme KI-Einsatz

Große Sprachmodelle (LLMs) wie ChatGPT oder Claude bieten enorme Effizienzgewinne im Berufsalltag. Sie fassen lange Schriftsätze zusammen, formulieren Schreiben vor und unterstützen bei der Recherche. Doch für Berufsgeheimnisträger wie Rechtsanwälte, Notare, Steuerberater und Ärzte verbietet sich der Einsatz dieser cloudbasierten Dienste in der Praxis meist von selbst.

Der Grund ist einfach: Gemäß DSGVO und den berufsrechtlichen Verschwiegenheitspflichten (§ 203 StGB) dürfen personenbezogene Daten von Mandanten oder Patienten nicht ohne explizite Einwilligung an Server ausländischer Drittanbieter übertragen werden.

Die Lösung: Lokale Sprachmodelle (On-Premise)

Seit dem Durchbruch leistungsfähiger Open-Source-Modelle wie Llama 3 (Meta), Mistral (Mistral AI) oder Phi-4 (Microsoft) gibt es eine verlässliche Alternative: Der Betrieb der künstlichen Intelligenz direkt im eigenen Serverraum oder auf einer dedizierten, isolierten Instanz in einem deutschen Rechenzentrum.

Bei einer solchen On-Premise-Installation wird das System so konzipiert, dass sensible Inhalte innerhalb der definierten Systemgrenzen verarbeitet werden. Die Anfrage des Mitarbeiters wird lokal auf Ihrer Hardware verarbeitet und das Ergebnis direkt zurückgeliefert.

Warum das für Kanzleien und Praxen in Köln unverzichtbar ist:

1. Datensouveränität im eigenen Netz: Es findet standardmäßig kein Datenabfluss ins Ausland statt. Keine US-Behörde hat Zugriff auf Ihre Mandatsakten oder Patientengeschichten.
2. Keine Nutzung als Trainingsdaten: Cloud-Betreiber behalten sich oft das Recht vor, Ihre Prompts (Eingaben) zum Training künftiger Modellgenerationen zu nutzen. Das System greift über eine lokale Wissensdatenbank auf freigegebene Dokumente zu. Ein Training oder Fine-Tuning des Modells findet nur nach ausdrücklicher Vereinbarung statt.
3. Volle Offline-Verfügbarkeit: Fällt das Internet aus, arbeitet Ihre lokale KI auf der Workstation im Büro einfach weiter.

Wie läuft die Umsetzung ab?

Die Integration lokaler KI-Modelle erfordert ein strukturiertes Vorgehen:

1. Hardware-Dimensionierung: Moderne Sprachmodelle benötigen Grafikspeicher (VRAM). Für mittlere Modelle (z.B. Llama 3 mit 8 Milliarden Parametern) reicht eine Grafikkarte mit 16 GB VRAM aus. Ich konzipiere die Hardware passgenau für Ihr geplantes Volumen.
2. Software-Setup: Über Plattformen wie Ollama in Kombination mit einer benutzerfreundlichen Oberfläche wie Open WebUI (die optisch an ChatGPT erinnert) wird die KI für Ihre Mitarbeiter zugänglich gemacht.
3. Sicherheits-Segmentierung: Der KI-Server wird in ein eigenes VLAN eingebunden, um die interne IT vor unbefugten Zugriffen zu schützen und sicherzustellen, dass nur berechtigte Personen sensible Dokumente zur Analyse hochladen.