Dlaczego RAG odpowiada źle: sześć najczęstszych przyczyn
„System halucynuje” to najczęstsza diagnoza i najrzadziej trafna. W systemach RAG błędna odpowiedź prawie zawsze ma przyczynę wcześniej: model dostał niewłaściwe fragmenty i opisał je wiernie. Dlatego naprawianie zaczyna się od wyszukiwania, a nie od instrukcji dla modelu. Poniżej sześć miejsc, w których psuje się jakość, w kolejności od najczęstszego, i prosty sposób na ustalenie, z którym z nich masz do czynienia.
- W większości przypadków model dostał złe fragmenty, a nie źle je zinterpretował.
- Najczęstsza przyczyna to nieaktualne dokumenty w indeksie — system cytuje poprawnie nieobowiązującą wersję.
- Diagnozę zaczyna się od sprawdzenia, co system wyszukał, zanim zmieni się cokolwiek w promptach.
Zanim obwinisz model
System RAG odpowiada w dwóch krokach: najpierw wyszukuje fragmenty dokumentów pasujące do pytania, potem formułuje z nich odpowiedź. Jeśli krok pierwszy zwróci nie to, co trzeba, krok drugi nie ma z czego zbudować dobrej odpowiedzi — i najczęściej zbuduje wiarygodnie brzmiącą złą. Dlatego pierwsza czynność diagnostyczna jest zawsze ta sama: sprawdź, jakie fragmenty system wyciągnął, zanim zmienisz cokolwiek w instrukcjach.
Sześć przyczyn, od najczęstszej
Nieaktualne dokumenty w indeksie. Cennik sprzed dwóch kwartałów leży obok obowiązującego i nic ich nie odróżnia. System cytuje poprawnie, tylko nie to, co trzeba. Naprawa: usuwanie starych wersji z indeksu jest częścią procesu aktualizacji, nie sprzątaniem raz na rok.
Sprzeczne źródła. Procedura mówi jedno, notatka ze spotkania drugie, a mail do zespołu trzecie. Bez ustalonej hierarchii źródeł system wybierze to, które akurat lepiej pasuje do sformułowania pytania. Naprawa: hierarchia zapisana w metadanych, nie w domysłach.
Źle pocięte dokumenty. Fragment kończy się w połowie tabeli warunków albo oddziela wyjątek od reguły, której dotyczy. Model dostaje połowę zdania i uzupełnia resztę. Naprawa: cięcie po strukturze dokumentu, nie po stałej liczbie znaków.
Pytanie zadane inaczej niż w dokumentach. Klient pisze „zwrot towaru”, procedura mówi „reklamacja ilościowa”. Wyszukiwanie semantyczne łagodzi ten problem, ale przy branżowym żargonie nie znika. Naprawa: słownik synonimów firmowych i rozszerzanie zapytania przed wyszukiwaniem.
Wiedza, której w ogóle nie ma. Odpowiedź istnieje wyłącznie w głowie osoby, która prowadzi ten temat od lat. System nie ma jej skąd wziąć, więc konstruuje coś prawdopodobnego. Naprawa: to nie jest problem techniczny — brakujący dokument trzeba napisać.
Brak instrukcji „nie wiem”. Jeśli system nie ma jawnie ustalonego progu, poniżej którego odmawia odpowiedzi i eskaluje, będzie odpowiadał zawsze. Naprawa: próg pewności i eskalacja jako element reguł, ustalone razem z zespołem.
Zmiana diagnozy, która porządkuje większość zgłoszeń o złej jakości odpowiedzi. Dopóki nie wiadomo, co system wyszukał, każda zmiana instrukcji dla modelu jest zgadywaniem.
Jak rozdzielić te przyczyny w praktyce
Weź dwadzieścia rzeczywistych złych odpowiedzi — nie wymyślonych przypadków testowych — i dla każdej zapisz dwie rzeczy: jakie fragmenty system wyszukał i czy prawidłowa odpowiedź w ogóle była wśród nich. To rozdziela wszystko na dwie kupki. Jeśli właściwy fragment nie został wyszukany, problem leży w indeksie, cięciu albo zapytaniu — przyczyny od pierwszej do czwartej. Jeśli został wyszukany, a odpowiedź i tak jest zła, dopiero wtedy warto patrzeć na instrukcje i próg pewności.
Ten podział zajmuje pół dnia i oszczędza tygodnie pracy w niewłaściwym miejscu. W audytach istniejących systemów RAG, które przejmujemy, pierwsza kupka jest zwykle wyraźnie większa — a w niej dominuje przyczyna pierwsza, czyli dokumenty, których nikt nie usunął po aktualizacji.
Najczęstsze pytania
Czy lepszy model rozwiąże ten problem?
Częściowo i tylko w przypadkach z drugiej kupki. Jeśli właściwy fragment nie trafił do kontekstu, żaden model go nie odgadnie — a mocniejszy sformułuje błędną odpowiedź bardziej przekonująco, co pogarsza sytuację, bo trudniej ją wychwycić.
Jak często trzeba odświeżać indeks?
Tak często, jak zmienia się wiedza. W praktyce podpina się to pod istniejący obieg dokumentów: publikacja nowej wersji procedury aktualizuje indeks i wycofuje poprzednią. Ręczne odświeżanie „co jakiś czas” jest źródłem przyczyny numer jeden.
Czy system powinien podawać źródło odpowiedzi?
Tak, i to z dwóch powodów. Użytkownik może zweryfikować odpowiedź w dwie sekundy zamiast zakładać, że jest poprawna. A Wy dostajecie narzędzie diagnostyczne: zgłoszenie o złej odpowiedzi przychodzi od razu ze wskazaniem, który dokument system uznał za właściwy.