WPIS
Jak mierzyć jakość AI w firmie: metryki, które coś znaczą
Nie mierz liczby wiadomości. Mierz, czy klient szybciej znajduje odpowiedź, czy sprawa jest rozwiązana i ile kosztuje obsługa.
Wdrożenie AI łatwo podsumować liczbą rozmów albo odpowiedzi. Trudniej odpowiedzieć na pytanie, czy klient szybciej rozwiązał sprawę, czy zespół ma mniej pracy i czy odpowiedź była poprawna.
W skrócie:
- Mierz zadanie, nie model.
- Oddziel jakość odpowiedzi od efektu biznesowego.
- Zbuduj stały zestaw testowy przed wdrożeniem.
Zacznij od zadania, nie od modelu
„Poprawić AI” to nie metryka. „Skrócić czas znalezienia odpowiedzi o 30%” albo „zmniejszyć liczbę eskalacji o 20%” — to metryki, które można zaprojektować i zmierzyć.
Najpierw zapisz, co ma się poprawić, a potem dobierz wskaźniki. Inaczej mierzysz aktywność zamiast wyniku.
Metryki produktowe
| Metryka | Co pokazuje | Jak mierzyć |
|---|---|---|
| Skuteczność zadania | Czy klient osiągnął cel | Zakończone formularze, zakupy, rozwiązane sprawy |
| Czas do odpowiedzi | Ile trwa znalezienie informacji | Mediana i percentyl 90 |
| Eskalacje | Jak często potrzebny jest człowiek | Udział rozmów przekazanych do zespołu |
| Koszt obsługi | Ile kosztuje jedno zapytanie | Koszt modelu, infrastruktury i pracy zespołu |
| Powrót do pytania | Czy odpowiedź była wystarczająca | Liczba pytań uzupełniających |
Metryki jakości odpowiedzi
Poza biznesem potrzebujesz ocenić samą odpowiedź. Tu sprawdzają się trzy wymiary: trafność, kompletność i wierność źródłom.
- Trafność — czy odpowiedź rozwiązuje pytanie.
- Kompletność — czy nie pomija ważnego warunku.
- Wierność — czy nie dodaje faktów spoza źródeł.
Do tego dochodzi format: czy odpowiedź ma wymaganą strukturę i czy da się ją automatycznie przetworzyć.
Eval set, czyli stały zestaw testowy
Przed wdrożeniem zbierz 50–100 realnych pytań i przypadków. Ustal dla nich oczekiwane odpowiedzi lub kryteria oceny. Ten sam zestaw uruchamiaj po każdej zmianie modelu, promptu lub danych.
Eval set powinien zawierać przypadki typowe, trudne i próbujące złamać zasady. Inaczej optymalizujesz pod łatwe pytania.
Jeśli nie potrafisz zmierzyć poprawy na 50 pytaniach, nie zmierzysz jej na produkcji.Neurasensei AI
Monitoring po wdrożeniu
- Zbieraj anonimowe logi pytań, decyzji i eskalacji.
- Dodaj szybki feedback: „ta odpowiedź pomogła?”.
- Co tydzień przeglądaj przypadki nieudane.
- Porównuj koszt i czas na zapytanie z baseline'em.
- Ustal próg, przy którym wyłączasz funkcję lub wracasz do poprzedniej wersji.
Czego nie mierzyć
Liczba wiadomości, liczba tokenów i „zaangażowanie” mogą rosnąć, nawet gdy jakość spada. Nie używaj ich jako głównego dowodu sukcesu.
Chcesz zbudować pomiar dla swojego wdrożenia? Napisz przez formularz kontaktowy — pomożemy dobrać metryki i eval set.