More and more Polish companies are asking about „private LLM”: a language model built in their own infrastructure, to which data does not leave your server room. There are several reasons: GDPR in regulated industries, the risk of sensitive data leaking to the public cloud, rising API bills with scale and the desire to become independent from one supplier. But a private LLM is not always a good decision and not always cheaper.
In this article, we show how a private LLM differs from a public one, when it is worth putting it on-premise, what the real costs are (calculator below), which open source models are at the GPT-4o level today and how to design a secure architecture. This is an extension of the topic we started in the article AI Automation with ChatGPT? 6 alternatives for companies in 2026.
What is Private LLM
Private LLM (self-hosted LLM) is a language model that runs on infrastructure controlled by your company, not on the servers of providers such as OpenAI, Anthropic or Google. Key difference: The data sent to the model and the responses it generates never leave the boundaries of your network.
In practice, „private LLM” appears in four variants:
- On-premise, i.e. your own server with GPU located in your server room or colocation. Full control, no transfer outside the building.
- VPC in the public cloud (AWS, Azure, GCP), where the model runs in a separate virtual network to which you have exclusive access. Physically in the cloud, logically „at your place”.
- Hosting in the Polish cloud (OVH, Beyond.pl, Netia, Atman), where the GPU server is located in a Polish data center and is subject to Polish jurisdiction.
- Hybrid, where the private LLM handles sensitive data and the public API (GPT-4o, Claude) handles everything else. Two models, one orchestration layer.
In each of these variants, the engine is usually an open source model whose scales you can download and run. Most common: Llama 3.3 (Meta), Mistral Large 2 (Mistral AI), Qwen 2.5 (Alibaba) or DeepSeek-V3.
Five signs that a public LLM is not enough for you
A private LLM is a big investment, so before we propose it to a client, we check whether the public model really can't handle it. Here are five signals that in practice tip the decision towards on-premise:
- Compliance prohibits. The medical sector (personal data of patients), legal (professional secrecy), defense (secrecy clauses), financial (GDPR + banking secrecy), public (KRI, sectoral laws) often exclude the external cloud in internal regulations. We have developed this topic in the study AI for lawyers: 5 pitfalls.
- The client requires in the contract. In public tenders and large B2B contracts, the clause „data cannot leave Poland/EU borders” or „processing only on the contractor's infrastructure” is increasingly included.
- The API bill increases linearly with usage. When the monthly cost of GPT-4o exceeds PLN 20-30 thousand, the mathematics begins to favor your own infrastructure.
- You need fine-tuning on sensitive data. Training the model on company documents in the public API means uploading these documents to the supplier. The private model solves this problem.
- Critical processes cannot depend on an external API. Public APIs have downtime (OpenAI several times in 2024 and 2025), change prices (GPT-4 became 10x cheaper, then became more expensive in Enterprise), change models (deprecation). On-premise = full control over the version.
Which open source models can be built locally
In 2026, open source LLMs have caught up with commercial models in most tasks. Below are models that are actually worth considering for production implementation.
| Model | Parameters | Context | Polish | When to choose |
|---|---|---|---|---|
| Llama 3.3 | 70B | 128k | very good | universal choice, largest community, tons of ecosystem tools |
| Mistral Large 2 Mistral AI | 123B | 128k | Good | European supplier, good quality reasoning, commercial license required |
| Qwen 2.5 Alibaba | 72B, 32B | 128k | mediocre | best in class in terms of quality, but geopolitical risk (China) |
| DeepSeek-V3 DeepSeek | 671B (MoE, 37B active) | 128k | mediocre | najbardziej efektywny w klasie ceny, wymaga więcej pamięci niż zwykły 70B |
| Phi-4 Microsoft | 14B | 16k | słaby | gdy potrzebujesz małego modelu do zadań specyficznych, działa na jednej A100 |
| Bielik SpeakLeash + Cyfronet | 11B | 32k | wybitny (polski) | polska adaptacja Mistrala, najlepszy jakościowo w polskim wśród open source |
Wybór modelu wpływa bezpośrednio na wymagania sprzętowe. Nie da się uruchomić Llamy 3.3 70B na laptopie, tak samo jak nie ma sensu stawiać rack serwera z 8x H100 dla modelu 14B. Kalkulator poniżej pokazuje, co jest realnie potrzebne.
Dobierak GPU: który sprzęt do którego modelu
Dobierak GPU pod prywatny LLM
Wybierz model i tryb pracy. Zobacz wymagany VRAM, sugerowany zestaw GPU oraz szacowany koszt miesięczny w polskiej chmurze.
Kilka obserwacji z praktyki. Batch większy niż 1 to must, jeśli model ma obsłużyć wielu użytkowników jednocześnie, ale każda dodatkowa równoległa sesja zjada VRAM na KV cache. Kwantyzacja INT8 to standard produkcyjny (jakość praktycznie nierozróżnialna od FP16 dla większości zadań), INT4 stosujemy tylko w bardzo ograniczonych scenariuszach jakościowych. Modele MoE (DeepSeek) mają aktywne tylko ~10% parametrów w danym momencie, ale wagi trzeba trzymać wszystkie w VRAM.
Kalkulator TCO: on-premise vs API publiczne
Podstawowe pytanie: kiedy on-premise się opłaca? Odpowiedź zależy od wolumenu. Poniżej kalkulator pokazuje break-even point na 3 lata (typowy horyzont amortyzacji sprzętu). Kalkulator zakłada Llama 3.3 70B na 1x A100 80GB w polskiej chmurze (7500 zł/mc) vs GPT-4o API po cenach z września 2026.
TCO 3 lata: prywatny LLM vs publiczne API
Kalkulator nie uwzględnia jednej ważnej rzeczy: kosztu migracji. Postawienie prywatnego LLM to typowo projekt na 60-120 tysięcy złotych jednorazowo (inżynieria infrastruktury, warstwa RAG, integracje, testy, monitoring). Dopiero po tym startuje TCO powyżej.
Fine-tuning czy RAG: co wybrać do prywatnego LLM
W momencie, w którym decydujesz się na prywatny LLM, pojawia się drugie pytanie: czy dostroić model do Twoich danych (fine-tuning), czy podawać mu dane w czasie zapytania (RAG). W praktyce niemal zawsze zaczynamy od RAG, o którym pisaliśmy w tekście Co to jest RAG i dlaczego bez niego AI zmyśla.
- RAG (Retrieval Augmented Generation) — model dostaje dane w promptcie w momencie zapytania. Zalety: dane zawsze aktualne (edytujesz źródło, zmiana jest natychmiast), łatwe dodawanie dokumentów, brak treningu. Koszt: kilka tysięcy zł infrastruktury wektorowej.
- Fine-tuning — trenujesz model na Twoich dokumentach, zapamiętuje je „na stałe”. Zalety: krótsze prompty (nie musisz doklejać kontekstu), lepsza wydajność w wąskiej dziedzinie. Koszt: 20-80 tysięcy zł jednorazowo za projekt, plus konieczność re-treningu przy zmianie danych.
Reguła kciuka: fine-tuning ma sens, gdy dane są stabilne (nie zmieniają się co tydzień) i wąskie tematycznie (dokumentacja techniczna, prawo z jednej dziedziny). Wszystko poza tym to RAG.
Bezpieczeństwo prywatnego LLM: 4 warstwy
Prywatny LLM sam w sobie nie gwarantuje bezpieczeństwa, gwarantuje tylko, że dane nie wychodzą do dostawcy modelu. Cała reszta zabezpieczeń musi być zaprojektowana:
- Sieć. Model dostępny tylko z sieci firmowej (VPN, private subnet). Nigdy publiczne API bez autoryzacji.
- Autoryzacja. Każde zapytanie tokenowane, powiązane z użytkownikiem, poziomy dostępu do różnych źródeł danych (nie każdy widzi wszystkie dokumenty).
- Logi i audyt. Każde zapytanie i odpowiedź zapisane z timestampem i użytkownikiem. Wymóg compliance w większości regulowanych branż.
- Retention i szyfrowanie. Logi szyfrowane at-rest, polityka retencji (typowo 90-365 dni), automatyczne kasowanie danych osobowych z logów po zdefiniowanym czasie.
Kiedy prywatny LLM NIE ma sensu
Prywatny LLM to modne hasło, ale nie zawsze dobra decyzja. Sygnały, że warto zostać przy publicznym API:
- Wolumen jest mały (poniżej 1000 zapytań dziennie). Kalkulator TCO pokazuje, że wtedy publiczne API jest dziesiątki razy tańsze.
- Nie masz zespołu DevOps/MLOps. Prywatny LLM wymaga stałej opieki: aktualizacje modelu, monitoring, incident response. Bez zespołu, który to utrzyma, projekt się rozjedzie po 6 miesiącach.
- Dane nie są wrażliwe. Jeśli publiczne API są dozwolone przez compliance, a wolumen umiarkowany, prywatny LLM to overengineering.
- Potrzebujesz absolutnie najwyższej jakości. W topowych benchmarkach GPT-4o, Claude 4.7 i Gemini 2.5 Pro nadal wyprzedzają open source o kilka procent. Dla części zastosowań to ma znaczenie.
W wielu firmach najsensowniejszy jest scenariusz hybrydowy, który opisaliśmy w artykule Wdrożenia AI: dlaczego kończą się porażką. Publiczny model do 95% zadań, prywatny LLM tylko do tych, które faktycznie tego wymagają.
Trzy typowe architektury wdrożeń, które robimy
Z wdrożeń, które prowadziliśmy w ramach AI implementations u klientów w Polsce, wyłaniają się trzy powtarzalne architektury:
- Single-node w polskim data center. Jeden serwer z 1-2x A100 w OVH lub Beyond.pl. Model Llama 3.3 70B lub Bielik. RAG na PostgreSQL + pgvector. Obsługuje 5-20 tysięcy zapytań dziennie. Dobre dla firm 50-500 osób z jednym-dwoma procesami AI.
- Cluster on-premise. 4-8x A100/H100 we własnej serwerowni. Load balancer, dwie repliki modelu, wysoka dostępność. Obsługuje 100k+ zapytań dziennie. Dla dużych organizacji z krytycznymi procesami AI (finansowe, medyczne).
- Hybryda API + prywatny LLM. Warstwa orkiestracji (n8n albo custom backend) rozdziela zapytania. Dane oznaczone jako „wrażliwe” idą do prywatnego LLM, reszta do GPT-4o albo Claude. Ta architektura jest coraz częstsza w firmach, które wcześniej wybierały tylko API.
Chcesz sprawdzić, czy prywatny LLM się u Ciebie opłaca?
Robimy audyt wolumenu, wymogów compliance i budżetu. Wynikiem jest jednostronicowa rekomendacja: prywatny LLM, publiczne API albo hybryda, z konkretnymi liczbami TCO na 3 lata.
Umów audyt wdrożenia AIFrequently Asked Questions
Czy prywatny LLM jest zgodny z RODO?
Sam fakt, że model działa u Ciebie, jest jednym z mocniejszych argumentów za zgodnością z RODO, bo dane fizycznie nie opuszczają Twojej infrastruktury. Ale RODO to szerszy temat: musisz mieć podstawę prawną przetwarzania, ocenę skutków dla ochrony danych (DPIA), polityki retencji logów i mechanizm realizacji praw osób, których dane dotyczą. Prywatny LLM ułatwia compliance, ale go nie zastępuje.
Który open source LLM jest najlepszy do polskiego?
Najlepszy jakościowo w polskim wśród open source to Bielik od SpeakLeash i Cyfronet AGH, mimo małego rozmiaru (11B). Z modeli w klasie 70B najlepiej radzi sobie Llama 3.3, ale różnica względem GPT-4o w polskim wciąż jest zauważalna (o 5-10% niższy score w naszych testach). Mistral Large 2 jest tuż za Llamą, Qwen 2.5 dalej, DeepSeek na końcu w polskim (dobry w kodzie i angielskim).
Ile GPU potrzebuję do uruchomienia Llama 3.3 70B?
W kwantyzacji INT8 wystarczy jedna karta A100 80GB (albo H100). Model waży wtedy około 70 GB, plus KV cache dla kilku równoległych zapytań i bufor systemowy. Dla większego batcha albo pełnej precyzji FP16 potrzebne są 2x A100 80GB. Kalkulator powyżej pokazuje to na Twoich parametrach.
Jak długo trwa wdrożenie prywatnego LLM w firmie?
Prosta instalacja modelu na serwerze GPU to kwestia 2-3 dni. Ale produkcyjne wdrożenie z warstwą RAG, integracjami z istniejącymi narzędziami, autoryzacją, logowaniem i monitoringiem to typowo 6-10 tygodni. Kluczowy koszt to nie sam model, tylko wszystko wokół. Nasz typowy projekt kończy się deployem po 8 tygodniach od kick-offu.
Czy warto stawiać prywatny LLM w polskiej chmurze, czy we własnej serwerowni?
Dla większości firm sensowniejszy jest wynajem serwera GPU w polskim data center (OVH, Beyond.pl, Netia). Wady własnej serwerowni: koszt kapitału na start (100-500 tys. zł za sprzęt), ryzyko awarii, konieczność chłodzenia i zasilania rezerwowego, cykl amortyzacji sprzętu (GPU starzeją się co 2 lata). Zalety chmury PL: brak CapEx, elastyczność zmiany konfiguracji, wsparcie dostawcy. Własna serwerownia ma sens dla organizacji, które i tak mają zbudowaną infrastrukturę serwerową (banki, telco, urzędy).
Czy prywatny LLM jest wolniejszy od ChatGPT?
Zależy od sprzętu. Na dobrze dobranym GPU (A100 lub H100) prywatny Llama 3.3 70B generuje odpowiedzi w tempie 30-50 tokenów na sekundę, co jest porównywalne z ChatGPT. Na słabszym sprzęcie (RTX 4090 z INT4) to raczej 15-25 tokenów/s, wciąż akceptowalne dla większości zastosowań, ale wolniejsze niż publiczne API. Batch processing na dobrym sprzęcie potrafi obsłużyć 500+ tokenów/s łącznej przepustowości.
Czy mogę zmienić model w prywatnym LLM po wdrożeniu?
Tak, i to jedna z głównych zalet własnej infrastruktury. Warstwa aplikacyjna (RAG, API, integracje) jest niezależna od konkretnego modelu, więc podmiana Llama 3.3 na Mistral Large 2 albo Qwen 2.5 to zwykle 1-2 dni pracy. Dla porównania: migracja z ChatGPT na Claude wymaga przepisania większości promptów i logiki wywołań.
