Jak mierzyć zwrot z wdrożenia AI, żeby liczby coś znaczyły
Najczęstszy błąd w mierzeniu wdrożeń AI polega nie na wyborze złych metryk, tylko na tym, że pomiar zaczyna się po starcie. Wtedy każda liczba jest bezużyteczna, bo nie ma jej z czym zestawić — a dyskusja o efektach zamienia się w wymianę wrażeń. Poniżej cztery wskaźniki, które mają sens w procesach obsługowych, trzy, które regularnie wprowadzają w błąd, i jedna zasada, którą trzeba ustalić przed pierwszym dniem pilota.
- Pomiar przed wdrożeniem jest ważniejszy niż pomiar po nim — bez punktu odniesienia nie ma czego porównać.
- Cztery metryki wystarczają: udział spraw bez człowieka, czas do odpowiedzi, koszt sprawy i liczba poprawek.
- Odsetek „poprawnych odpowiedzi” bez definicji poprawności to metryka, która zawsze wychodzi dobrze.
Zasada pierwsza: najpierw punkt odniesienia
Zanim cokolwiek zostanie wdrożone, potrzebujesz trzech liczb dla wybranego procesu: ile spraw miesięcznie, ile minut zajmuje jedna, jaka jest stawka godzinowa osób, które je obsługują. To jedyny moment, w którym da się je zmierzyć uczciwie — po wdrożeniu nikt już nie odtworzy, ile naprawdę zajmowała sprawa „przed”. Te trzy liczby zbieramy na audycie i zapisujemy razem z definicjami, bo definicja jest tu ważniejsza niż sama wartość.
Definicja znaczy: czy „sprawa” to jeden mail, czy cały wątek. Czy czas obsługi liczymy od wpłynięcia, czy od otwarcia. Czy wliczamy przerwane wątki. Jeśli po wdrożeniu ktoś policzy to inaczej, porównanie przestaje mieć sens — a takie rozjechanie się definicji jest znacznie częstszą przyczyną sporów o efekty niż faktyczny brak efektów.
Cztery metryki, które warto liczyć
Udział spraw obsłużonych bez człowieka. Najważniejsza liczba całego wdrożenia. Liczona na wszystkich sprawach, nie na tych, które agent wybrał — inaczej rośnie sama przez zawężanie zakresu.
Czas od zgłoszenia do odpowiedzi. Mierzony na całym wolumenie, łącznie z eskalacjami. Średnia bywa myląca przy długim ogonie, więc obok niej warto trzymać medianę i wartość dla 90% spraw.
Koszt obsługi jednej sprawy. Suma kosztu pracy ludzi i kosztu systemu podzielona przez liczbę spraw. Jedyna metryka, która łączy oszczędność czasu z wydatkiem na wdrożenie w jednej liczbie.
Liczba poprawek po agencie. Ile odpowiedzi zespół musiał zmienić przed wysłaniem lub sprostować po. To wskaźnik jakości i jednocześnie wczesny sygnał, że reguły wymagają korekty.
Trzy metryki, które brzmią dobrze i mylą
Pierwsza: „odsetek poprawnych odpowiedzi” bez definicji poprawności. Zawsze wychodzi wysoko, bo każdy ocenia inaczej i nikt nie sprawdza próby losowej. Jeśli już używać, to na losowej próbce ocenianej według spisanych kryteriów przez osobę, która nie budowała systemu.
Druga: liczba obsłużonych zapytań. Rośnie, kiedy agent działa, ale rośnie też, gdy klienci piszą częściej, bo dostają szybsze odpowiedzi. Sama w sobie nie mówi nic o oszczędności. Trzecia: satysfakcja klienta mierzona zaraz po wdrożeniu. Efekt nowości i zmiana kanału zaburzają wynik na tyle, że sensowne porównanie jest możliwe dopiero po kwartale.
Różnica między dyskusją o wrażeniach a rozmową, po której da się podjąć decyzję o rozszerzeniu wdrożenia na kolejny proces albo o jego wycofaniu.
Czego te liczby nie pokażą
Dwie rzeczy wymykają się pomiarowi, a bywają ważniejsze od oszczędności. Pierwsza: co robi zespół z odzyskanym czasem. Jeśli 160 godzin miesięcznie wraca do pracy merytorycznej, wdrożenie zarabia drugi raz — ale tego nie zobaczysz w koszcie sprawy. Druga: przewidywalność. Odpowiedź w sekundy również wieczorem i w weekend zmienia doświadczenie klienta w sposób, którego nie ujmie żadna z czterech metryk powyżej.
Dlatego przy podsumowaniu wdrożenia raportujemy liczby i osobno opisujemy te dwa efekty, zamiast próbować wcisnąć je do wskaźnika. Wskaźnik, który obejmuje wszystko, zwykle nie mierzy niczego.
Najczęstsze pytania
Po jakim czasie widać zwrot?
Przy dobrze wybranym procesie — takim, który zajmuje kilkaset godzin rocznie i ma jasne reguły — koszt wdrożenia zwraca się zwykle w kilka miesięcy. Przy procesie o dużym udziale spraw nietypowych okres wydłuża się wyraźnie i to jest jeden z powodów, dla których wybór procesu robimy na audycie.
Kto powinien liczyć te metryki?
Ktoś po Twojej stronie, na danych z Twoich systemów. Dostarczamy definicje, logi i sposób liczenia, ale wynik, którego nie da się odtworzyć bez nas, jest mało wart przy decyzji o kolejnych procesach.
Czy da się zmierzyć efekt bez pilota?
Da się oszacować — na trzech liczbach z audytu i założeniu o udziale spraw nietypowych. To szacunek, nie pomiar, i tak go opisujemy. Pilot zamienia go w liczbę policzoną na rzeczywistym ruchu.