Jędrzej Siewierski
Immer mehr polnische Unternehmen fragen nach einem „privaten LLM“: einem Sprachmodell in der eigenen Infrastruktur, bei dem die Daten Ihren Serverraum nicht verlassen. Die Gründe sind vielfältig: DSGVO in regulierten Branchen, das Risiko, dass sensible Daten in die Public Cloud gelangen, steigende API-Kosten bei wachsendem Volumen und der Wunsch, sich von einem einzelnen Anbieter unabhängig zu machen. Doch ein privates LLM ist nicht immer die richtige Entscheidung und nicht immer die günstigere.
In diesem Artikel zeigen wir, worin sich ein privates LLM von einem öffentlichen unterscheidet, wann sich ein On-Premise-Betrieb lohnt, wie hoch die realen Kosten sind (Rechner unten), welche Open-Source-Modelle heute auf dem Niveau von GPT-4o liegen und wie man eine sichere Architektur entwirft. Damit vertiefen wir ein Thema, das wir im Artikel begonnen haben KI-Automatisierung mit ChatGPT? 6 Alternativen für Unternehmen 2026.
Was ist ein privates LLM
Ein privates LLM (private LLM, self-hosted LLM) ist ein Sprachmodell, das auf einer von Ihrem Unternehmen kontrollierten Infrastruktur läuft, nicht auf den Servern eines Anbieters wie OpenAI, Anthropic oder Google. Der entscheidende Unterschied: Die an das Modell gesendeten Daten und die generierten Antworten verlassen niemals die Grenzen Ihres Netzwerks.
In der Praxis tritt ein „privates LLM“ in vier Varianten auf:
- On-premise, also ein eigener GPU-Server in Ihrem Serverraum oder in einer Colocation. Volle Kontrolle, keine Datenübertragung außerhalb des Gebäudes.
- VPC in der Public Cloud (AWS, Azure, GCP), wobei das Modell in einem abgetrennten virtuellen Netzwerk läuft, auf das nur Sie Zugriff haben. Physisch in der Cloud, logisch „bei Ihnen“.
- Hosting in einer polnischen Cloud (OVH, Beyond.pl, Netia, Atman), wobei der GPU-Server in einem polnischen Rechenzentrum steht und polnischer Rechtsprechung unterliegt.
- Hybryda, bei der das private LLM sensible Daten verarbeitet und die öffentliche API (GPT-4o, Claude) alles andere. Zwei Modelle, eine Orchestrierungsschicht.
In jeder dieser Varianten ist der Motor in der Regel ein Open-Source-Modell, dessen Gewichte Sie herunterladen und ausführen können. Am häufigsten: Llama 3.3 (Meta), Mistral Large 2 (Mistral AI), Qwen 2.5 (Alibaba) oder DeepSeek-V3.
Fünf Signale, dass ein öffentliches LLM für Sie nicht ausreicht
Ein privates LLM ist eine große Investition. Bevor wir es einem Kunden vorschlagen, prüfen wir daher, ob ein öffentliches Modell es wirklich nicht schafft. Hier sind fünf Signale, die in der Praxis die Entscheidung zugunsten von On-Premise kippen:
- Compliance zabrania. Der Medizinsektor (Patientendaten), der Rechtsbereich (Berufsgeheimnis), die Verteidigung (Geheimhaltungsklauseln), der Finanzsektor (DSGVO + Bankgeheimnis) und der öffentliche Sektor (KRI, Sektorgesetze) schließen externe Clouds in internen Richtlinien häufig aus. Dieses Thema haben wir ausführlich behandelt in KI für Juristen: 5 Fallstricke.
- Der Kunde fordert es im Vertrag. In öffentlichen Ausschreibungen und großen B2B-Verträgen taucht immer häufiger die Klausel „Daten dürfen Polen/die EU nicht verlassen“ oder „Verarbeitung nur auf der Infrastruktur des Auftragnehmers“ auf.
- Die API-Rechnung wächst linear mit der Nutzung. Wenn die monatlichen Kosten für GPT-4o 20.000-30.000 PLN übersteigen, spricht die Rechnung für eine eigene Infrastruktur.
- Sie benötigen Fine-Tuning auf sensiblen Daten. Ein Modell über eine öffentliche API mit Unternehmensdokumenten zu trainieren bedeutet, diese Dokumente beim Anbieter hochzuladen. Ein privates Modell löst dieses Problem.
- Kritische Prozesse dürfen nicht von einer externen API abhängen. Öffentliche APIs haben Ausfälle (OpenAI mehrmals in 2024 und 2025), ändern Preise (GPT-4 wurde 10x günstiger, dann im Enterprise-Segment wieder teurer) und ändern Modelle (Deprecation). On-Premise = volle Kontrolle über die Version.
Welche Open-Source-Modelle sich lokal betreiben lassen
2026 haben Open-Source-LLMs bei den meisten Aufgaben zu kommerziellen Modellen aufgeschlossen. Unten die Modelle, die für einen produktiven Einsatz tatsächlich in Frage kommen.
| Modell | Parametry | Kontext | Polnische Sprache | Wann wählen? |
|---|---|---|---|---|
| Llama 3.3 | 70B | 128k | bardzo dobry | universelle Wahl, größte Community, viele Tools im Ökosystem |
| Mistral Large 2 Mistral AI | 123B | 128k | dobry | europäischer Anbieter, gute Reasoning-Qualität, kommerzielle Lizenz erforderlich |
| Qwen 2.5 Alibaba | 72B, 32B | 128k | mittel | qualitativ das beste seiner Klasse, aber geopolitisches Risiko (China) |
| DeepSeek-V3 DeepSeek | 671B (MoE, 37B aktywne) | 128k | mittel | am effizientesten in seiner Preisklasse, benötigt mehr Speicher als ein normales 70B |
| Phi-4 Microsoft | 14B | 16k | schwach | wenn Sie ein kleines Modell für spezifische Aufgaben brauchen, läuft auf einer einzigen A100 |
| Bielik SpeakLeash + Cyfronet | 11B | 32k | wybitny (polski) | polnische Adaption von Mistral, qualitativ das beste Open-Source-Modell für Polnisch |
Die Modellwahl wirkt sich direkt auf die Hardwareanforderungen aus. Llama 3.3 70B lässt sich nicht auf einem Laptop betreiben, genauso wenig ist es sinnvoll, einen Rack-Server mit 8x H100 für ein 14B-Modell aufzustellen. Der Rechner unten zeigt, was realistisch benötigt wird.
GPU-Auswahlhilfe: welche Hardware für welches Modell
Dobierak GPU pod prywatny LLM
Wählen Sie Modell und Betriebsmodus. Sehen Sie den benötigten VRAM, das empfohlene GPU-Setup und die geschätzten monatlichen Kosten in einer polnischen Cloud.
Einige Beobachtungen aus der Praxis. Ein Batch größer als 1 ist Pflicht, wenn das Modell viele Nutzer gleichzeitig bedienen soll, aber jede zusätzliche parallele Sitzung verbraucht VRAM für den KV-Cache. INT8-Quantisierung ist der Produktionsstandard (Qualität für die meisten Aufgaben praktisch nicht von FP16 zu unterscheiden), INT4 setzen wir nur in qualitativ sehr eingeschränkten Szenarien ein. MoE-Modelle (DeepSeek) haben zu jedem Zeitpunkt nur ~10% der Parameter aktiv, aber alle Gewichte müssen im VRAM gehalten werden.
Kalkulator TCO: on-premise vs API publiczne
Die Grundfrage: Wann lohnt sich On-Premise? Die Antwort hängt vom Volumen ab. Der Rechner unten zeigt den Break-even-Point über 3 Jahre (typischer Abschreibungshorizont für Hardware). Der Rechner geht von Llama 3.3 70B auf 1x A100 80GB in einer polnischen Cloud (7500 PLN/Monat) vs. GPT-4o API zu Preisen von September 2026 aus.
TCO 3 lata: prywatny LLM vs publiczne API
Der Rechner berücksichtigt einen wichtigen Punkt nicht: die Migrationskosten. Der Aufbau eines privaten LLM ist typischerweise ein Projekt für einmalig 60.000-120.000 PLN (Infrastruktur-Engineering, RAG-Schicht, Integrationen, Tests, Monitoring). Erst danach beginnt die oben dargestellte TCO.
Fine-Tuning oder RAG: was für ein privates LLM wählen
Sobald Sie sich für ein privates LLM entscheiden, stellt sich die zweite Frage: Soll das Modell auf Ihre Daten abgestimmt werden (Fine-Tuning) oder sollen ihm die Daten zum Zeitpunkt der Anfrage übergeben werden (RAG)? In der Praxis beginnen wir fast immer mit RAG, worüber wir im Artikel geschrieben haben Was ist RAG und warum KI ohne RAG Dinge erfindet.
- RAG (Retrieval Augmented Generation): Das Modell erhält die Daten zum Zeitpunkt der Anfrage im Prompt. Vorteile: Daten immer aktuell (Sie bearbeiten die Quelle, die Änderung greift sofort), einfaches Hinzufügen von Dokumenten, kein Training. Kosten: einige Tausend PLN für die Vektor-Infrastruktur.
- Feinabstimmung : Sie trainieren das Modell mit Ihren Dokumenten, es speichert sie „dauerhaft“. Vorteile: kürzere Prompts (Sie müssen keinen Kontext anhängen), bessere Leistung in einem eng umrissenen Fachgebiet. Kosten: 20.000-80.000 PLN einmalig pro Projekt, dazu ein erneutes Training bei Datenänderungen.
Faustregel: Fine-Tuning ist sinnvoll, wenn die Daten stabil sind (sich nicht jede Woche ändern) und thematisch eng (technische Dokumentation, Recht aus einem Fachgebiet). Alles andere ist RAG.
Sicherheit eines privaten LLM: 4 Schichten
Ein privates LLM garantiert an sich keine Sicherheit, sondern nur, dass die Daten nicht zum Modellanbieter gelangen. Alle weiteren Schutzmaßnahmen müssen entworfen werden:
- Netzwerk. Das Modell ist nur aus dem Firmennetzwerk erreichbar (VPN, private Subnet). Niemals eine öffentliche API ohne Autorisierung.
- Autoryzacja. Jede Anfrage tokenisiert, einem Nutzer zugeordnet, mit Zugriffsstufen für verschiedene Datenquellen (nicht jeder sieht alle Dokumente).
- Logs und Audit. Jede Anfrage und Antwort mit Zeitstempel und Nutzer gespeichert. Compliance-Anforderung in den meisten regulierten Branchen.
- Aufbewahrung und Verschlüsselung. Logs at-rest verschlüsselt, Aufbewahrungsrichtlinie (typischerweise 90-365 Tage), automatisches Löschen personenbezogener Daten aus den Logs nach definierter Zeit.
Wann ein privates LLM KEINEN Sinn ergibt
Privates LLM ist ein Modewort, aber nicht immer die richtige Entscheidung. Signale, dass Sie besser bei einer öffentlichen API bleiben:
- Das Volumen ist gering (unter 1000 Anfragen pro Tag). Der TCO-Rechner zeigt, dass eine öffentliche API dann um ein Vielfaches günstiger ist.
- Sie haben kein DevOps/MLOps-Team. Ein privates LLM erfordert ständige Betreuung: Modell-Updates, Monitoring, Incident Response. Ohne ein Team, das das aufrechterhält, gerät das Projekt nach 6 Monaten aus dem Ruder.
- Die Daten sind nicht sensibel. Wenn öffentliche APIs von der Compliance erlaubt sind und das Volumen moderat ist, ist ein privates LLM Overengineering.
- Sie benötigen absolut höchste Qualität. In Top-Benchmarks liegen GPT-4o, Claude 4.7 und Gemini 2.5 Pro weiterhin einige Prozent vor Open Source. Für manche Anwendungen ist das relevant.
In vielen Unternehmen ist das hybride Szenario am sinnvollsten, das wir im Artikel beschrieben haben KI-Implementierungen: warum sie scheitern. Ein öffentliches Modell für 95% der Aufgaben, ein privates LLM nur für die, die es tatsächlich erfordern.
Drei typische Implementierungsarchitekturen, die wir umsetzen
Aus den Implementierungen, die wir im Rahmen von KI-Implementierungen bei Kunden in Polen durchgeführt haben, ergeben sich drei wiederkehrende Architekturen:
- Single-Node in einem polnischen Rechenzentrum. Ein Server mit 1-2x A100 bei OVH oder Beyond.pl. Modell Llama 3.3 70B oder Bielik. RAG auf PostgreSQL + pgvector. Verarbeitet 5.000-20.000 Anfragen pro Tag. Gut für Unternehmen mit 50-500 Mitarbeitern und ein bis zwei KI-Prozessen.
- Cluster on-premise. 4-8x A100/H100 im eigenen Serverraum. Load Balancer, zwei Modellreplikate, hohe Verfügbarkeit. Verarbeitet 100k+ Anfragen pro Tag. Für große Organisationen mit kritischen KI-Prozessen (Finanzen, Medizin).
- Hybryda API + prywatny LLM. Eine Orchestrierungsschicht (n8n oder ein individuelles Backend) verteilt die Anfragen. Als „sensibel“ markierte Daten gehen an das private LLM, der Rest an GPT-4o oder Claude. Diese Architektur ist zunehmend in Unternehmen anzutreffen, die früher ausschließlich auf APIs gesetzt haben.
Möchten Sie prüfen, ob sich ein privates LLM für Sie lohnt?
Wir führen ein Audit von Volumen, Compliance-Anforderungen und Budget durch. Ergebnis ist eine einseitige Empfehlung: privates LLM, öffentliche API oder Hybrid, mit konkreten TCO-Zahlen über 3 Jahre.
Audit der KI-Implementierung vereinbarenHäufig gestellte Fragen
Ist ein privates LLM DSGVO-konform?
Allein die Tatsache, dass das Modell bei Ihnen läuft, ist eines der stärkeren Argumente für DSGVO-Konformität, denn die Daten verlassen Ihre Infrastruktur physisch nicht. Die DSGVO ist jedoch ein breiteres Thema: Sie benötigen eine Rechtsgrundlage für die Verarbeitung, eine Datenschutz-Folgenabschätzung (DPIA), Richtlinien zur Log-Aufbewahrung und einen Mechanismus zur Wahrung der Rechte betroffener Personen. Ein privates LLM erleichtert die Compliance, ersetzt sie aber nicht.
Welches Open-Source-LLM ist am besten für Polnisch?
Qualitativ das beste Open-Source-Modell für Polnisch ist Bielik von SpeakLeash und Cyfronet AGH, trotz seiner geringen Größe (11B). Unter den Modellen der 70B-Klasse schneidet Llama 3.3 am besten ab, der Abstand zu GPT-4o im Polnischen ist aber weiterhin spürbar (5-10% niedrigerer Score in unseren Tests). Mistral Large 2 liegt knapp hinter Llama, Qwen 2.5 dahinter, DeepSeek im Polnischen auf dem letzten Platz (gut bei Code und Englisch).
Wie viele GPUs brauche ich, um Llama 3.3 70B zu betreiben?
Bei INT8-Quantisierung reicht eine A100 80GB (oder H100). Das Modell wiegt dann etwa 70 GB, plus KV-Cache für einige parallele Anfragen und Systempuffer. Für einen größeren Batch oder volle FP16-Präzision sind 2x A100 80GB nötig. Der Rechner oben zeigt das für Ihre Parameter.
Wie lange dauert die Implementierung eines privaten LLM im Unternehmen?
Die einfache Installation eines Modells auf einem GPU-Server ist eine Sache von 2-3 Tagen. Eine produktive Implementierung mit RAG-Schicht, Integrationen in bestehende Tools, Autorisierung, Logging und Monitoring dauert jedoch typischerweise 6-10 Wochen. Der Hauptkostenfaktor ist nicht das Modell selbst, sondern alles drumherum. Unser typisches Projekt endet mit dem Deploy 8 Wochen nach dem Kick-off.
Lohnt sich ein privates LLM eher in einer polnischen Cloud oder im eigenen Serverraum?
Für die meisten Unternehmen ist die Miete eines GPU-Servers in einem polnischen Rechenzentrum (OVH, Beyond.pl, Netia) sinnvoller. Nachteile eines eigenen Serverraums: Kapitalbedarf zum Start (100.000-500.000 PLN für Hardware), Ausfallrisiko, Notwendigkeit von Kühlung und Notstromversorgung, Abschreibungszyklus der Hardware (GPUs veralten alle 2 Jahre). Vorteile der PL-Cloud: kein CapEx, flexible Änderung der Konfiguration, Support des Anbieters. Ein eigener Serverraum ist sinnvoll für Organisationen, die ohnehin eine Serverinfrastruktur aufgebaut haben (Banken, Telcos, Behörden).
Ist ein privates LLM langsamer als ChatGPT?
Das hängt von der Hardware ab. Auf gut gewählten GPUs (A100 oder H100) generiert ein privates Llama 3.3 70B Antworten mit 30-50 Tokens pro Sekunde, vergleichbar mit ChatGPT. Auf schwächerer Hardware (RTX 4090 mit INT4) sind es eher 15-25 Tokens/s, für die meisten Anwendungen weiterhin akzeptabel, aber langsamer als eine öffentliche API. Batch Processing auf guter Hardware schafft 500+ Tokens/s Gesamtdurchsatz.
Kann ich das Modell in einem privaten LLM nach der Implementierung wechseln?
Ja, und das ist einer der Hauptvorteile einer eigenen Infrastruktur. Die Anwendungsschicht (RAG, API, Integrationen) ist unabhängig vom konkreten Modell, daher ist der Austausch von Llama 3.3 gegen Mistral Large 2 oder Qwen 2.5 meist eine Sache von 1-2 Arbeitstagen. Zum Vergleich: Eine Migration von ChatGPT zu Claude erfordert das Umschreiben der meisten Prompts und der Aufruflogik.
Weitere Materialien zu KI im Unternehmen
- KI-Automatisierung mit ChatGPT? 6 Alternativen für Unternehmen 2026
- KI-Implementierungen in Unternehmen: warum sie scheitern
- Was ist RAG und warum KI ohne RAG Dinge erfindet
- KI für Juristen: 5 Fallstricke
- Wie Sie einen Dienstleister für die KI-Implementierung auswählen
- Automatisierung im B2B-Vertrieb: 7 Prozesse
