Jak mierzyć zwrot z wdrożenia AI, żeby liczby coś znaczyły
Najczęstszy błąd w mierzeniu wdrożeń AI polega nie na wyborze złych metryk, tylko na tym, że pomiar zaczyna się po starcie. Wtedy każda liczba jest bezużyteczna, bo nie ma jej z czym zestawić — a dyskusja o efektach zamienia się w wymianę wrażeń. Poniżej cztery wskaźniki, które mają sens w procesach obsługowych, trzy, które regularnie wprowadzają w błąd, i jedna zasada, którą trzeba ustalić przed pierwszym dniem wdrożenia.
- Punkt odniesienia mierzymy przed startem — bez niego nie ma czego porównać ani od czego liczyć wyniku.
- Cztery metryki wystarczają: udział spraw bez człowieka, czas do odpowiedzi, koszt sprawy i liczba poprawek.
- Odsetek „poprawnych odpowiedzi” bez definicji poprawności to metryka, która zawsze wychodzi dobrze.
Zasada pierwsza: najpierw punkt odniesienia
Zanim cokolwiek zostanie wdrożone, potrzebujesz trzech liczb dla wybranego procesu: ile spraw miesięcznie, ile minut zajmuje jedna, jaka jest stawka godzinowa osób, które je obsługują. To jedyny moment, w którym da się je zmierzyć uczciwie — po wdrożeniu nikt już nie odtworzy, ile naprawdę zajmowała sprawa „przed”. Te trzy liczby mierzymy przed startem wdrożenia i zapisujemy razem z definicjami, bo definicja jest tu ważniejsza niż sama wartość. Przy rozliczeniu za sprawę to jednocześnie punkt, od którego liczy się nasze wynagrodzenie: nie bierzemy wtedy pieniędzy za samo wdrożenie, rozliczamy się od wyniku, a wynik jest różnicą względem tego pomiaru.
Definicja znaczy: czy „sprawa” to jeden mail, czy cały wątek. Czy czas obsługi liczymy od wpłynięcia, czy od otwarcia. Czy wliczamy przerwane wątki. Jeśli po wdrożeniu ktoś policzy to inaczej, porównanie przestaje mieć sens — a takie rozjechanie się definicji jest znacznie częstszą przyczyną sporów o efekty niż faktyczny brak efektów.
Cztery metryki, które warto liczyć
Udział spraw obsłużonych bez człowieka. Najważniejsza liczba całego wdrożenia. Liczona na wszystkich sprawach, nie na tych, które agent wybrał — inaczej rośnie sama przez zawężanie zakresu.
Czas od zgłoszenia do odpowiedzi. Mierzony na całym wolumenie, łącznie z eskalacjami. Średnia bywa myląca przy długim ogonie, więc obok niej warto trzymać medianę i wartość dla 90% spraw.
Koszt obsługi jednej sprawy. Suma kosztu pracy ludzi i kosztów systemu podzielona przez liczbę spraw. Jedyna metryka, która w jednej liczbie pokazuje, co dzieje się z kosztową stroną P&L — i na której opiera się rozliczenie od wyniku, gdy agent jest płatny za sprawę.
Liczba poprawek po agencie. Ile odpowiedzi zespół musiał zmienić przed wysłaniem lub sprostować po. To wskaźnik jakości i jednocześnie wczesny sygnał, że reguły wymagają korekty.
Trzy metryki, które brzmią dobrze i mylą
Pierwsza: „odsetek poprawnych odpowiedzi” bez definicji poprawności. Zawsze wychodzi wysoko, bo każdy ocenia inaczej i nikt nie sprawdza próby losowej. Jeśli już używać, to na losowej próbce ocenianej według spisanych kryteriów przez osobę, która nie budowała systemu.
Druga: liczba obsłużonych zapytań. Rośnie, kiedy agent działa, ale rośnie też, gdy klienci piszą częściej, bo dostają szybsze odpowiedzi. Sama w sobie nie mówi nic o oszczędności. Trzecia: satysfakcja klienta mierzona zaraz po wdrożeniu. Efekt nowości i zmiana kanału zaburzają wynik na tyle, że sensowne porównanie jest możliwe dopiero po kwartale.
Różnica między dyskusją o wrażeniach a rozmową, po której da się podjąć decyzję o rozszerzeniu wdrożenia na kolejny proces albo o jego wycofaniu.
Czego te liczby nie pokażą
Dwie rzeczy wymykają się pomiarowi, a bywają ważniejsze od oszczędności. Pierwsza: co robi zespół z odzyskanym czasem. Jeśli 160 godzin miesięcznie wraca do pracy merytorycznej, wdrożenie zarabia drugi raz — ale tego nie zobaczysz w koszcie sprawy. Druga: przewidywalność. Odpowiedź w sekundy również wieczorem i w weekend zmienia doświadczenie klienta, a po stronie przychodowej bywa widoczna jako więcej domkniętych spraw — czego nie ujmie żadna z czterech metryk powyżej.
Dlatego przy podsumowaniu wdrożenia raportujemy liczby i osobno opisujemy te dwa efekty, zamiast próbować wcisnąć je do wskaźnika. Wskaźnik, który obejmuje wszystko, zwykle nie mierzy niczego.
Najczęstsze pytania
Po jakim czasie widać zwrot?
Przy dobrze wybranym procesie — takim, który zajmuje kilkaset godzin rocznie i ma jasne reguły — różnicę względem punktu odniesienia widać w liczbach już w pierwszych tygodniach po starcie. Przy procesie o dużym udziale spraw nietypowych efekt jest wyraźnie mniejszy i to jeden z powodów, dla których wybór procesu robimy na bezpłatnej konsultacji.
Kto powinien liczyć te metryki?
Ktoś po Twojej stronie, na danych z Twoich systemów. Dostarczamy definicje, logi i sposób liczenia, ale wynik, którego nie da się odtworzyć bez nas, jest mało wart przy decyzji o kolejnych procesach.
Czy da się oszacować efekt przed wdrożeniem?
Da się policzyć na trzech liczbach z rozmowy i udziale spraw nietypowych. Wdrożenie potwierdza wynik na rzeczywistym ruchu.