RAG czy fine-tuning: co wybrać do firmowej wiedzy
To pytanie pada na większości rozmów technicznych i prawie zawsze jest źle postawione, bo zakłada wybór między dwiema alternatywami. Tymczasem RAG i fine-tuning rozwiązują różne problemy i w praktyce rzadko konkurują. Poniżej rozdzielamy te dwa problemy tak, żeby dało się rozpoznać, który z nich faktycznie masz — i dlaczego w wdrożeniach firmowych odpowiedź w ośmiu przypadkach na dziesięć brzmi „RAG, i to wystarczy”.
- RAG odpowiada na pytanie „skąd model ma wiedzieć”, fine-tuning na „jak model ma się zachowywać”.
- Wiedza, która się zmienia — cenniki, procedury, stany — należy do RAG, bo aktualizacja to podmiana dokumentu.
- W większości wdrożeń firmowych fine-tuning nie jest potrzebny wcale; kiedy jest, dokłada się do RAG, nie zastępuje go.
Dwa różne problemy
RAG (retrieval-augmented generation) rozwiązuje problem wiedzy: model sam z siebie nie zna Twojego cennika, procedury reklamacyjnej ani warunków handlowych konkretnego klienta. RAG dokłada mu je w momencie odpowiadania — wyszukuje właściwe fragmenty dokumentów i podaje je jako kontekst. Model nie „uczy się” ich na stałe; dostaje je za każdym razem, jak notatkę do wglądu.
Fine-tuning rozwiązuje problem zachowania: jak model ma formułować odpowiedzi, jakiego tonu używać, w jakim formacie zwracać wynik, jak reagować na nietypowe sformułowania. Trenowanie zmienia sam model na podstawie przykładów. Nie dokłada mu faktów w sposób, na którym dałoby się polegać — a to jest najczęstsze nieporozumienie i najdroższy błąd w tej kategorii.
Dlaczego w firmach zwykle wygrywa RAG
Wiedza firmowa ma jedną cechę, która przesądza sprawę: zmienia się. Cennik obowiązuje kwartał, procedura po audycie dostaje nowy paragraf, warunki handlowe klienta zmieniają się po negocjacjach. W RAG aktualizacja to podmiana dokumentu w indeksie — minuty. Przy fine-tuningu każda taka zmiana oznacza kolejne trenowanie, a między jednym a drugim model twierdzi z pełnym przekonaniem rzeczy nieaktualne.
Aktualność. Zmiana w dokumencie działa od razu i dotyczy wszystkich odpowiedzi. Nie ma okna, w którym system zna starą wersję procedury.
Sprawdzalność. Odpowiedź da się związać ze źródłem — konkretnym dokumentem i fragmentem. Przy fine-tuningu nie ma czego pokazać, bo wiedza rozpłynęła się w wagach modelu.
Kontrola dostępu. Uprawnienia można nałożyć na etapie wyszukiwania: handlowiec widzi swoje warunki, a nie warunki wszystkich klientów. Model wytrenowany na całości nie da się już rozdzielić.
Koszt zmiany. Dodanie nowego obszaru wiedzy to zaindeksowanie kolejnych dokumentów, a nie kolejny cykl trenowania i ewaluacji.
Kiedy fine-tuning ma sens
Są sytuacje, w których dokładanie kontekstu nie wystarcza. Jeśli odpowiedzi muszą trzymać bardzo specyficzny format albo branżowy żargon, którego model konsekwentnie nie trafia, a masz kilkaset dobrych przykładów historycznych — trenowanie potrafi to załatwić taniej niż coraz dłuższe instrukcje. Podobnie przy bardzo wąskich zadaniach klasyfikacyjnych o dużej skali, gdzie mniejszy wytrenowany model bywa tańszy w utrzymaniu niż duży ogólny.
Nawet wtedy fine-tuning dokłada się do RAG, a nie go zastępuje: wytrenowany model dalej potrzebuje aktualnych faktów podanych w kontekście. Kolejność też ma znaczenie — najpierw uruchamiamy RAG i mierzymy jakość, a dopiero jeśli po dopracowaniu wyszukiwania i instrukcji nadal brakuje, rozważamy trenowanie. W praktyce w większości wdrożeń ten drugi krok nie następuje.
Koszt aktualizacji wiedzy w obu podejściach. To jedyna różnica, którą trzeba zrozumieć, żeby podjąć właściwą decyzję — reszta argumentów jest jej konsekwencją.
Najczęstsze pytania
Czy fine-tuning nie daje dokładniejszych odpowiedzi?
Daje bardziej przewidywalną formę odpowiedzi, nie większą wierność faktom. Jeśli problemem jest to, że model myli szczegóły z Twoich dokumentów, trenowanie tego nie naprawi — naprawi to lepsze wyszukiwanie i wskazanie źródła.
Czy RAG oznacza wysyłanie całej bazy wiedzy do modelu?
Nie. Do modelu trafiają tylko fragmenty potrzebne do jednej odpowiedzi, zwykle kilka akapitów. Sama baza pozostaje po Twojej stronie albo w wybranym regionie UE, a zakres tego, co może zostać wyszukane, ograniczają uprawnienia.
Od czego zacząć, jeśli nie wiemy, którego potrzebujemy?
Od pytania, czy Twoja wiedza się zmienia i czy odpowiedzi trzeba umieć uzasadnić źródłem. Dwa razy „tak” oznacza RAG. Fine-tuning zostaje na później i tylko wtedy, gdy pomiar na działającym systemie pokaże, że czegoś brakuje.