Klasyfikacja zgłoszeń z AI — projekt z najszybszym zwrotem w firmie
Wiele firm zaczyna przygodę z AI od ambitnego asystenta rozmawiającego z klientami i po kilku miesiącach grzęźnie w problemach z jakością odpowiedzi. Tymczasem jeden z najprostszych projektów przynosi efekty w ciągu tygodni: automatyczne rozpoznawanie, czego dotyczy wiadomość, jak jest pilna i do kogo powinna trafić. Klasyfikacja zgłoszeń nie wymaga pisania odpowiedzi, nie kontaktuje się z klientem i łatwo ją zmierzyć. Jednocześnie usuwa jedną z najbardziej żmudnych czynności w obsłudze klienta, serwisie i administracji.
Krótka odpowiedź: klasyfikacja zgłoszeń polega na tym, że model językowy czyta przychodzącą wiadomość i przypisuje jej kategorię, priorytet, osobę lub zespół odpowiedzialny oraz wyciąga kluczowe dane, na przykład numer zamówienia. To dobry pierwszy projekt, bo ma niskie ryzyko, jasną miarę sukcesu i szybko pokazuje, jak AI radzi sobie z realnymi danymi firmy.
Warunek powodzenia: dobrze zdefiniowane kategorie. Jeśli ludzie w zespole nie są zgodni, do jakiej kategorii należy zgłoszenie, model też nie będzie.
Dlaczego klasyfikacja to dobry start
| Cecha projektu | Klasyfikacja zgłoszeń | Asystent odpowiadający klientom |
|---|---|---|
| Kontakt z klientem | Brak | Bezpośredni |
| Skutek błędu | Zgłoszenie trafia do złej kolejki i jest przekierowane | Klient dostaje błędną informację |
| Pomiar jakości | Prosty: zgodność z decyzją człowieka | Trudny, wymaga oceny treści |
| Przygotowanie danych | Historyczne zgłoszenia z kategoriami | Kompletna, aktualna baza wiedzy |
| Czas do pierwszych efektów | Tygodnie | Miesiące |
| Wartość wiedzy dla dalszych projektów | Wysoka — dane o strukturze zgłoszeń | Wysoka, ale zdobywana drożej |
Jest jeszcze jeden powód: klasyfikacja jest fundamentem pod kolejne automatyzacje. Żeby agent mógł samodzielnie obsługiwać pytania o status zamówienia, system najpierw musi rozpoznać, że wiadomość dotyczy statusu zamówienia. Projekt klasyfikacji nigdy nie jest więc pracą straconą. Szerzej o wyborze pierwszego procesu piszemy w tekście o pierwszym procesie AI w małej firmie.
Gdzie się sprawdza
- Obsługa klienta — reklamacje, pytania o dostawę, zwroty, faktury, problemy z kontem.
- Serwis i wsparcie techniczne — rodzaj awarii, produkt, pilność, klient z umową serwisową.
- Wspólna skrzynka firmowa — zapytania ofertowe, sprawy do księgowości, CV, oferty dostawców, spam.
- Zgłoszenia wewnętrzne — IT, administracja, kadry.
- Formularze na stronie — rozpoznanie rzeczywistego tematu niezależnie od wybranej przez użytkownika kategorii.
- Opinie i ankiety — przypisanie tematów i wydźwięku do wypowiedzi otwartych.
Projektowanie kategorii
To najważniejszy i najczęściej niedoceniany etap. Model przypisze zgłoszenie do kategorii tak dobrze, jak dobrze te kategorie są zdefiniowane.
- Kategorie wynikają z działań — każda powinna prowadzić do innej ścieżki obsługi lub innej osoby. Kategoria, która nic nie zmienia, jest zbędna.
- Rozłączność — zgłoszenie nie powinno pasować jednocześnie do dwóch kategorii. Jeśli pasuje, trzeba ustalić regułę pierwszeństwa.
- Rozsądna liczba — kilka do kilkunastu kategorii głównych. Przy kilkudziesięciu warto wprowadzić dwa poziomy.
- Definicja i przykłady — każda kategoria ma jedno zdanie opisu, dwa-trzy typowe przykłady i przykład graniczny z wyjaśnieniem.
- Kategoria „inne" — dla spraw niepasujących, przeglądana regularnie jako źródło nowych kategorii.
- Możliwość wielu etykiet — gdy wiadomość dotyczy kilku spraw, na przykład reklamacji i zmiany adresu.
Uwaga praktyczna: przed wdrożeniem warto zrobić prosty test: dwie osoby z zespołu niezależnie klasyfikują te same pięćdziesiąt zgłoszeń. Jeśli ich zgodność jest niska, problem leży w kategoriach, a nie w technologii. Poprawienie definicji przyniesie korzyść także pracownikom, niezależnie od AI.
Priorytet i dane
Oprócz kategorii model może ustalać pilność i wyciągać dane potrzebne do obsługi. Priorytet warto opierać na jasnych regułach, a nie na ogólnym wrażeniu.
| Element | Przykład reguły lub danych |
|---|---|
| Priorytet wysoki | Awaria uniemożliwiająca pracę, zagrożenie terminu, sygnał sprawy prawnej |
| Priorytet średni | Reklamacja, problem utrudniający pracę, pytanie przed zakupem |
| Priorytet niski | Pytanie informacyjne, sugestia, prośba o dokument |
| Dane do wyciągnięcia | Numer zamówienia, faktury, umowy, nazwa produktu, termin |
| Dane uzupełniane z systemu | Klient, rodzaj umowy, historia zgłoszeń |
| Sygnały dodatkowe | Język wiadomości, wydźwięk, ponowny kontakt w tej samej sprawie |
Część reguł lepiej realizować w kodzie niż w modelu. Jeśli klient ma umowę z gwarantowanym czasem reakcji, priorytet wynika z danych w systemie, a nie z treści wiadomości.
Przygotowanie danych testowych
Do sprawdzenia jakości potrzebny jest zestaw zgłoszeń z poprawnymi kategoriami. Najczęściej firma ma już historię w systemie zgłoszeń lub skrzynce pocztowej, choć rzadko jest ona uporządkowana.
- Kilkaset historycznych zgłoszeń z różnych okresów, żeby uwzględnić sezonowość.
- Ręczna weryfikacja kategorii — historyczne etykiety bywają niespójne.
- Reprezentacja rzadkich kategorii — celowo dobrane przykłady, nie tylko losowa próbka.
- Przypadki trudne — wiadomości wielowątkowe, bardzo krótkie, z załącznikami, w obcym języku.
- Usunięcie lub zamaskowanie danych osobowych tam, gdzie nie są potrzebne do testu.
Ten sam zestaw służy później do sprawdzania każdej zmiany instrukcji. O ochronie danych przy pracy z modelami w chmurze piszemy w tekście o danych firmowych a modelu w chmurze.
Jak mierzyć trafność
Ogólny odsetek poprawnych klasyfikacji to za mało. Model może świetnie rozpoznawać częste kategorie i zupełnie mylić rzadkie, ale ważne — na przykład zgłoszenia o charakterze prawnym.
- Trafność w każdej kategorii osobno, szczególnie w kategoriach o dużym znaczeniu.
- Macierz pomyłek — które kategorie są ze sobą mylone. Często wskazuje na nieprecyzyjne definicje.
- Pominięte zgłoszenia pilne — oddzielny wskaźnik, bo ten błąd kosztuje najwięcej.
- Odsetek przekierowań po wdrożeniu — ile zgłoszeń pracownicy przenoszą do innej kolejki.
- Czas od wpływu do podjęcia sprawy — główny wskaźnik biznesowy.
Wdrożenie krok po kroku
| Etap | Działanie | Kryterium przejścia dalej |
|---|---|---|
| 1. Test na historii | Klasyfikacja zestawu testowego, analiza błędów, poprawa instrukcji i kategorii | Trafność akceptowalna dla zespołu |
| 2. Tryb cienia | Model klasyfikuje nowe zgłoszenia, ale wynik jest tylko zapisywany | Zgodność z decyzjami pracowników na bieżących danych |
| 3. Podpowiedź | Pracownik widzi proponowaną kategorię i zatwierdza lub zmienia | Niski odsetek zmian |
| 4. Automatyczny przydział | Zgłoszenia trafiają do kolejek automatycznie, niepewne do kolejki ogólnej | Stały pomiar przekierowań |
Tryb cienia jest szczególnie cenny, bo pozwala ocenić działanie na świeżych danych bez żadnego wpływu na pracę zespołu. Więcej o bezpiecznym testowaniu nowych rozwiązań piszemy w tekście o pilotażu AI.
Aspekty techniczne
- Ustrukturyzowana odpowiedź — model zwraca kategorię, priorytet i dane w stałym formacie, sprawdzanym przez kod.
- Lista dozwolonych wartości — kategoria spoza listy traktowana jak błąd i kierowana do kolejki ogólnej.
- Uzasadnienie — krótkie wyjaśnienie decyzji, pomocne przy analizie pomyłek.
- Mniejszy, tańszy model — do klasyfikacji zwykle wystarcza, co obniża koszty przy dużej liczbie zgłoszeń.
- Obsługa awarii — przy niedostępności modelu zgłoszenia trafiają do kolejki ogólnej, nic nie ginie.
- Zapis wersji instrukcji przy każdej klasyfikacji.
O kontroli kosztów przy dużej liczbie wywołań piszemy w tekście o kosztach modeli językowych, a o utrzymaniu powtarzalności wyników — w materiale o instrukcjach dla modelu.
Jakich efektów się spodziewać
Najbardziej widoczny efekt to skrócenie czasu, jaki zgłoszenie spędza w kolejce ogólnej, zanim ktoś się nim zajmie. Mniej widoczny, ale równie ważny, to dane: po kilku tygodniach firma wie dokładnie, ile zgłoszeń jakiego rodzaju wpływa, w jakich godzinach i od jakich klientów. Te informacje pozwalają lepiej planować obsadę, wskazują produkty generujące najwięcej problemów i pokazują, które kategorie są najlepszymi kandydatami do dalszej automatyzacji.
Najczęstsze błędy
- Kopiowanie kategorii z systemu zgłoszeń bez przeglądu — historyczne kategorie często są przestarzałe, zdublowane lub zbyt ogólne.
- Mierzenie tylko ogólnej trafności, która ukrywa błędy w rzadkich, ale ważnych kategoriach.
- Brak kolejki dla przypadków niepewnych — model musi wybrać kategorię nawet wtedy, gdy żadna nie pasuje.
- Pominięcie trybu cienia i od razu automatyczny przydział, co przy pierwszych błędach podkopuje zaufanie zespołu.
- Brak właściciela kategorii — nowe produkty i usługi pojawiają się, a lista kategorii zostaje taka sama.
- Ignorowanie wiadomości wielowątkowych, w których klient w jednym mailu zgłasza kilka spraw.
Każdy z tych błędów jest łatwy do uniknięcia, jeśli zostanie uwzględniony na etapie projektu, a trudny do naprawienia, gdy zespół już stracił zaufanie do systemu.
Warto też zaplanować, kto po wdrożeniu będzie odpowiadał za jakość klasyfikacji. Bez takiej osoby system działa poprawnie przez kilka miesięcy, a potem stopniowo traci trafność, bo zmienia się oferta, pojawiają się nowe rodzaje spraw i nikt nie aktualizuje definicji kategorii.
Podsumowanie
Automatyczna klasyfikacja zgłoszeń to projekt AI o niskim ryzyku, prostym pomiarze i szybkich efektach. Model nie kontaktuje się z klientem, a jego błąd kończy się przekierowaniem zgłoszenia. Kluczem do sukcesu są dobrze zdefiniowane kategorie, zestaw testowy z historycznych danych i stopniowe wdrożenie przez tryb cienia i podpowiedzi.
Zacznij od prostego ćwiczenia: poproś dwie osoby o niezależne sklasyfikowanie pięćdziesięciu ostatnich zgłoszeń według obecnych kategorii i porównaj wyniki. To jedno popołudnie, które pokaże, czy firma jest gotowa na automatyzację, i co trzeba uporządkować wcześniej. Więcej o możliwościach AI w firmach przeczytasz na stronie AI w firmie.
Najczęstsze pytania
Model językowy czyta przychodzącą wiadomość i przypisuje jej kategorię, priorytet oraz osobę lub zespół odpowiedzialny, a także wyciąga kluczowe dane, takie jak numer zamówienia czy nazwa produktu. Zgłoszenie trafia dzięki temu od razu do właściwej kolejki.
Bo nie wymaga kontaktu z klientem, a skutkiem błędu jest jedynie przekierowanie zgłoszenia. Jakość łatwo zmierzyć przez porównanie z decyzjami ludzi, efekty pojawiają się w ciągu tygodni, a klasyfikacja jest podstawą pod kolejne automatyzacje.
Każda kategoria powinna prowadzić do innej ścieżki obsługi, być rozłączna z pozostałymi i mieć krótką definicję z przykładami typowymi i granicznymi. Warto zachować rozsądną liczbę kategorii, dodać kategorię inne i sprawdzić zgodność klasyfikacji między pracownikami.
Zwykle kilkaset historycznych zgłoszeń z ręcznie zweryfikowanymi kategoriami, z różnych okresów, z celowo dobranymi przykładami rzadkich kategorii i przypadkami trudnymi. Ten sam zestaw służy później do testowania każdej zmiany instrukcji.
Najpierw testując ją na historycznych zgłoszeniach, potem uruchamiając w trybie cienia bez wpływu na pracę, następnie pokazując pracownikom proponowaną kategorię do zatwierdzenia, a dopiero na końcu przydzielając zgłoszenia automatycznie z kolejką ogólną dla przypadków niepewnych.
Bezpłatna wycena Twojego projektu
Opisz w kilku zdaniach, co chcesz zbudować — stronę, aplikację czy sklep. Odpowiadamy w ciągu 24 godzin roboczych konkretną propozycją zakresu i harmonogramu. Konsultacja i wycena są bezpłatne, bez zobowiązań.