Coraz więcej polskich firm pyta o „prywatny LLM”: model językowy postawiony we własnej infrastrukturze, do którego dane nie opuszczają Twojej serwerowni. Powodów jest kilka: RODO w regulowanych branżach, ryzyko wycieku wrażliwych danych do chmury publicznej, rosnące rachunki za API przy skali i chęć uniezależnienia się od jednego dostawcy. Ale prywatny LLM to nie zawsze dobra decyzja i nie zawsze tańsza.
W tym artykule pokazujemy, czym różni się prywatny LLM od publicznego, kiedy warto postawić go on-premise, jakie są realne koszty (kalkulator poniżej), które modele open source są dziś na poziomie GPT-4o oraz jak zaprojektować bezpieczną architekturę. To rozszerzenie tematu, który zaczęliśmy w artykule Automatyzacja AI z ChatGPT? 6 alternatyw dla firm 2026.
Czym jest prywatny LLM
Prywatny LLM (private LLM, self-hosted LLM) to model językowy, który działa na infrastrukturze kontrolowanej przez Twoją firmę, nie na serwerach dostawcy typu OpenAI, Anthropic czy Google. Kluczowa różnica: dane wysyłane do modelu i odpowiedzi, które generuje, nigdy nie wychodzą poza granice Twojej sieci.
W praktyce „prywatny LLM” pojawia się w czterech wariantach:
- On-premise, czyli własny serwer z GPU stojący w Twojej serwerowni albo colocation. Pełna kontrola, brak transferu poza budynek.
- VPC w chmurze publicznej (AWS, Azure, GCP), gdzie model działa w wydzielonej wirtualnej sieci, do której masz wyłączny dostęp. Fizycznie w chmurze, logicznie „u Ciebie”.
- Hosting w polskiej chmurze (OVH, Beyond.pl, Netia, Atman), gdzie serwer GPU stoi w polskim data center i podlega polskiej jurysdykcji.
- Hybryda, gdzie prywatny LLM obsługuje dane wrażliwe, a publiczne API (GPT-4o, Claude) obsługuje wszystko inne. Dwa modele, jedna warstwa orkiestracji.
W każdym z tych wariantów silnikiem jest zwykle model open source, którego wagi możesz pobrać i uruchomić. Najczęściej: Llama 3.3 (Meta), Mistral Large 2 (Mistral AI), Qwen 2.5 (Alibaba) albo DeepSeek-V3.
Pięć sygnałów, że publiczny LLM Ci nie wystarczy
Prywatny LLM to duża inwestycja, więc zanim go zaproponujemy klientowi, sprawdzamy, czy publiczny model naprawdę nie da rady. Oto pięć sygnałów, które w praktyce przechylają decyzję na on-premise:
- Compliance zabrania. Sektor medyczny (dane osobowe pacjentów), prawny (tajemnica zawodowa), obronny (klauzule tajności), finansowy (RODO + tajemnica bankowa), publiczny (KRI, ustawy sektorowe) często wykluczają chmurę zewnętrzną w regulaminach wewnętrznych. Ten temat rozwinęliśmy w opracowaniu AI dla prawników: 5 pułapek.
- Klient wymaga w kontrakcie. W przetargach publicznych i dużych kontraktach B2B coraz częściej pojawia się klauzula „dane nie mogą opuszczać granic Polski/UE” albo „przetwarzanie tylko na infrastrukturze wykonawcy”.
- Rachunek za API rośnie liniowo z użyciem. Kiedy miesięczny koszt GPT-4o przekracza 20-30 tysięcy złotych, matematyka zaczyna faworyzować własną infrastrukturę.
- Potrzebujesz fine-tuningu na wrażliwych danych. Trening modelu na dokumentach firmowych w publicznym API oznacza wgranie tych dokumentów do dostawcy. Prywatny model rozwiązuje ten problem.
- Krytyczne procesy nie mogą zależeć od zewnętrznego API. Publiczne API mają downtime (OpenAI kilka razy w 2024 i 2025), zmieniają ceny (GPT-4 potaniał 10x, potem znów podrożał w Enterprise), zmieniają modele (deprecation). On-premise = pełna kontrola nad wersją.
Które modele open source można postawić lokalnie
W 2026 open source LLM dogoniły komercyjne modele w większości zadań. Poniżej modele, które faktycznie warto rozważyć do wdrożenia produkcyjnego.
| Model | Parametry | Kontekst | Język polski | Kiedy wybrać |
|---|---|---|---|---|
| Llama 3.3 | 70B | 128k | bardzo dobry | uniwersalny wybór, największa społeczność, mnóstwo narzędzi ekosystemu |
| Mistral Large 2 Mistral AI | 123B | 128k | dobry | europejski dostawca, dobra jakość reasoning, licencja komercyjna wymagana |
| Qwen 2.5 Alibaba | 72B, 32B | 128k | średni | najlepszy jakościowo w klasie, ale ryzyko geopolityczne (Chiny) |
| DeepSeek-V3 DeepSeek | 671B (MoE, 37B aktywne) | 128k | średni | najbardziej efektywny w klasie ceny, wymaga więcej pamięci niż zwykły 70B |
| Phi-4 Microsoft | 14B | 16k | słaby | gdy potrzebujesz małego modelu do zadań specyficznych, działa na jednej A100 |
| Bielik SpeakLeash + Cyfronet | 11B | 32k | wybitny (polski) | polska adaptacja Mistrala, najlepszy jakościowo w polskim wśród open source |
Wybór modelu wpływa bezpośrednio na wymagania sprzętowe. Nie da się uruchomić Llamy 3.3 70B na laptopie, tak samo jak nie ma sensu stawiać rack serwera z 8x H100 dla modelu 14B. Kalkulator poniżej pokazuje, co jest realnie potrzebne.
Dobierak GPU: który sprzęt do którego modelu
Dobierak GPU pod prywatny LLM
Wybierz model i tryb pracy. Zobacz wymagany VRAM, sugerowany zestaw GPU oraz szacowany koszt miesięczny w polskiej chmurze.
Kilka obserwacji z praktyki. Batch większy niż 1 to must, jeśli model ma obsłużyć wielu użytkowników jednocześnie, ale każda dodatkowa równoległa sesja zjada VRAM na KV cache. Kwantyzacja INT8 to standard produkcyjny (jakość praktycznie nierozróżnialna od FP16 dla większości zadań), INT4 stosujemy tylko w bardzo ograniczonych scenariuszach jakościowych. Modele MoE (DeepSeek) mają aktywne tylko ~10% parametrów w danym momencie, ale wagi trzeba trzymać wszystkie w VRAM.
Kalkulator TCO: on-premise vs API publiczne
Podstawowe pytanie: kiedy on-premise się opłaca? Odpowiedź zależy od wolumenu. Poniżej kalkulator pokazuje break-even point na 3 lata (typowy horyzont amortyzacji sprzętu). Kalkulator zakłada Llama 3.3 70B na 1x A100 80GB w polskiej chmurze (7500 zł/mc) vs GPT-4o API po cenach z września 2026.
TCO 3 lata: prywatny LLM vs publiczne API
Kalkulator nie uwzględnia jednej ważnej rzeczy: kosztu migracji. Postawienie prywatnego LLM to typowo projekt na 60-120 tysięcy złotych jednorazowo (inżynieria infrastruktury, warstwa RAG, integracje, testy, monitoring). Dopiero po tym startuje TCO powyżej.
Fine-tuning czy RAG: co wybrać do prywatnego LLM
W momencie, w którym decydujesz się na prywatny LLM, pojawia się drugie pytanie: czy dostroić model do Twoich danych (fine-tuning), czy podawać mu dane w czasie zapytania (RAG). W praktyce niemal zawsze zaczynamy od RAG, o którym pisaliśmy w tekście Co to jest RAG i dlaczego bez niego AI zmyśla.
- RAG (Retrieval Augmented Generation) — model dostaje dane w promptcie w momencie zapytania. Zalety: dane zawsze aktualne (edytujesz źródło, zmiana jest natychmiast), łatwe dodawanie dokumentów, brak treningu. Koszt: kilka tysięcy zł infrastruktury wektorowej.
- Fine-tuning — trenujesz model na Twoich dokumentach, zapamiętuje je „na stałe”. Zalety: krótsze prompty (nie musisz doklejać kontekstu), lepsza wydajność w wąskiej dziedzinie. Koszt: 20-80 tysięcy zł jednorazowo za projekt, plus konieczność re-treningu przy zmianie danych.
Reguła kciuka: fine-tuning ma sens, gdy dane są stabilne (nie zmieniają się co tydzień) i wąskie tematycznie (dokumentacja techniczna, prawo z jednej dziedziny). Wszystko poza tym to RAG.
Bezpieczeństwo prywatnego LLM: 4 warstwy
Prywatny LLM sam w sobie nie gwarantuje bezpieczeństwa, gwarantuje tylko, że dane nie wychodzą do dostawcy modelu. Cała reszta zabezpieczeń musi być zaprojektowana:
- Sieć. Model dostępny tylko z sieci firmowej (VPN, private subnet). Nigdy publiczne API bez autoryzacji.
- Autoryzacja. Każde zapytanie tokenowane, powiązane z użytkownikiem, poziomy dostępu do różnych źródeł danych (nie każdy widzi wszystkie dokumenty).
- Logi i audyt. Każde zapytanie i odpowiedź zapisane z timestampem i użytkownikiem. Wymóg compliance w większości regulowanych branż.
- Retention i szyfrowanie. Logi szyfrowane at-rest, polityka retencji (typowo 90-365 dni), automatyczne kasowanie danych osobowych z logów po zdefiniowanym czasie.
Kiedy prywatny LLM NIE ma sensu
Prywatny LLM to modne hasło, ale nie zawsze dobra decyzja. Sygnały, że warto zostać przy publicznym API:
- Wolumen jest mały (poniżej 1000 zapytań dziennie). Kalkulator TCO pokazuje, że wtedy publiczne API jest dziesiątki razy tańsze.
- Nie masz zespołu DevOps/MLOps. Prywatny LLM wymaga stałej opieki: aktualizacje modelu, monitoring, incident response. Bez zespołu, który to utrzyma, projekt się rozjedzie po 6 miesiącach.
- Dane nie są wrażliwe. Jeśli publiczne API są dozwolone przez compliance, a wolumen umiarkowany, prywatny LLM to overengineering.
- Potrzebujesz absolutnie najwyższej jakości. W topowych benchmarkach GPT-4o, Claude 4.7 i Gemini 2.5 Pro nadal wyprzedzają open source o kilka procent. Dla części zastosowań to ma znaczenie.
W wielu firmach najsensowniejszy jest scenariusz hybrydowy, który opisaliśmy w artykule Wdrożenia AI: dlaczego kończą się porażką. Publiczny model do 95% zadań, prywatny LLM tylko do tych, które faktycznie tego wymagają.
Trzy typowe architektury wdrożeń, które robimy
Z wdrożeń, które prowadziliśmy w ramach wdrożeń AI u klientów w Polsce, wyłaniają się trzy powtarzalne architektury:
- Single-node w polskim data center. Jeden serwer z 1-2x A100 w OVH lub Beyond.pl. Model Llama 3.3 70B lub Bielik. RAG na PostgreSQL + pgvector. Obsługuje 5-20 tysięcy zapytań dziennie. Dobre dla firm 50-500 osób z jednym-dwoma procesami AI.
- Cluster on-premise. 4-8x A100/H100 we własnej serwerowni. Load balancer, dwie repliki modelu, wysoka dostępność. Obsługuje 100k+ zapytań dziennie. Dla dużych organizacji z krytycznymi procesami AI (finansowe, medyczne).
- Hybryda API + prywatny LLM. Warstwa orkiestracji (n8n albo custom backend) rozdziela zapytania. Dane oznaczone jako „wrażliwe” idą do prywatnego LLM, reszta do GPT-4o albo Claude. Ta architektura jest coraz częstsza w firmach, które wcześniej wybierały tylko API.
Chcesz sprawdzić, czy prywatny LLM się u Ciebie opłaca?
Robimy audyt wolumenu, wymogów compliance i budżetu. Wynikiem jest jednostronicowa rekomendacja: prywatny LLM, publiczne API albo hybryda, z konkretnymi liczbami TCO na 3 lata.
Umów audyt wdrożenia AINajczęściej zadawane pytania
Czy prywatny LLM jest zgodny z RODO?
Sam fakt, że model działa u Ciebie, jest jednym z mocniejszych argumentów za zgodnością z RODO, bo dane fizycznie nie opuszczają Twojej infrastruktury. Ale RODO to szerszy temat: musisz mieć podstawę prawną przetwarzania, ocenę skutków dla ochrony danych (DPIA), polityki retencji logów i mechanizm realizacji praw osób, których dane dotyczą. Prywatny LLM ułatwia compliance, ale go nie zastępuje.
Który open source LLM jest najlepszy do polskiego?
Najlepszy jakościowo w polskim wśród open source to Bielik od SpeakLeash i Cyfronet AGH, mimo małego rozmiaru (11B). Z modeli w klasie 70B najlepiej radzi sobie Llama 3.3, ale różnica względem GPT-4o w polskim wciąż jest zauważalna (o 5-10% niższy score w naszych testach). Mistral Large 2 jest tuż za Llamą, Qwen 2.5 dalej, DeepSeek na końcu w polskim (dobry w kodzie i angielskim).
Ile GPU potrzebuję do uruchomienia Llama 3.3 70B?
W kwantyzacji INT8 wystarczy jedna karta A100 80GB (albo H100). Model waży wtedy około 70 GB, plus KV cache dla kilku równoległych zapytań i bufor systemowy. Dla większego batcha albo pełnej precyzji FP16 potrzebne są 2x A100 80GB. Kalkulator powyżej pokazuje to na Twoich parametrach.
Jak długo trwa wdrożenie prywatnego LLM w firmie?
Prosta instalacja modelu na serwerze GPU to kwestia 2-3 dni. Ale produkcyjne wdrożenie z warstwą RAG, integracjami z istniejącymi narzędziami, autoryzacją, logowaniem i monitoringiem to typowo 6-10 tygodni. Kluczowy koszt to nie sam model, tylko wszystko wokół. Nasz typowy projekt kończy się deployem po 8 tygodniach od kick-offu.
Czy warto stawiać prywatny LLM w polskiej chmurze, czy we własnej serwerowni?
Dla większości firm sensowniejszy jest wynajem serwera GPU w polskim data center (OVH, Beyond.pl, Netia). Wady własnej serwerowni: koszt kapitału na start (100-500 tys. zł za sprzęt), ryzyko awarii, konieczność chłodzenia i zasilania rezerwowego, cykl amortyzacji sprzętu (GPU starzeją się co 2 lata). Zalety chmury PL: brak CapEx, elastyczność zmiany konfiguracji, wsparcie dostawcy. Własna serwerownia ma sens dla organizacji, które i tak mają zbudowaną infrastrukturę serwerową (banki, telco, urzędy).
Czy prywatny LLM jest wolniejszy od ChatGPT?
Zależy od sprzętu. Na dobrze dobranym GPU (A100 lub H100) prywatny Llama 3.3 70B generuje odpowiedzi w tempie 30-50 tokenów na sekundę, co jest porównywalne z ChatGPT. Na słabszym sprzęcie (RTX 4090 z INT4) to raczej 15-25 tokenów/s, wciąż akceptowalne dla większości zastosowań, ale wolniejsze niż publiczne API. Batch processing na dobrym sprzęcie potrafi obsłużyć 500+ tokenów/s łącznej przepustowości.
Czy mogę zmienić model w prywatnym LLM po wdrożeniu?
Tak, i to jedna z głównych zalet własnej infrastruktury. Warstwa aplikacyjna (RAG, API, integracje) jest niezależna od konkretnego modelu, więc podmiana Llama 3.3 na Mistral Large 2 albo Qwen 2.5 to zwykle 1-2 dni pracy. Dla porównania: migracja z ChatGPT na Claude wymaga przepisania większości promptów i logiki wywołań.
