AI Quality Engineering · Voice · Chat · Agents
Testuję voiceboty, chatboty i agentów AI. Wykrywam regresje, błędy procesów i problemy z odpowiedziami, zanim znajdą je Wasi użytkownicy.
Przypadek testowy · demo
RESCHEDULE_APPOINTMENT
Przenieś moją wizytę na czwartek o 16:00.
Gotowe. Wizyta została przełożona na czwartek, 16:00.
RESPONSE QUALITY · PASS język · intencja
Final result
FAIL · REGRESSION DETECTED
Bot potwierdził operację, której backend nie wykonał.
Co testuję
LLM może odpowiedzieć poprawnie, mimo że pod spodem użył złych danych, zgubił kontekst albo nie wykonał właściwej akcji. Dlatego testuję nie tylko treść odpowiedzi, ale cały proces prowadzący do finalnego wyniku.
01 · Tool call
BOT
„Rezerwacja anulowana.”
✕ FAIL · FALSE CONFIRMATION
02 · RAG
USER
„Ile mam czasu na zwrot towaru?”
✕ FAIL · WRONG RETRIEVAL
03 · Multi-turn
USER
„Jednak nie 14:00. Poproszę 16:00.”
✕ FAIL · STALE CONTEXT
Ścieżka jednego żądania
Dobieram warstwy testów do architektury systemu i ryzyka procesu. Końcowy PASS wymaga nie tylko poprawnej odpowiedzi, ale również poprawnego zachowania systemu.
Usługi
Budujecie AI dla klientów?
GŁÓWNA USŁUGAPowtarzalne testy po zmianie promptu, modelu, RAG-u, integracji lub kodu. Pokazują, co się poprawiło i co właśnie przestało działać.
Możliwe również white-label jako dodatkowa warstwa QA przed oddaniem rozwiązania klientowi.
AI Regression Suite: scenariusze · golden dataset · evaluatory · raporty regresji · opcjonalnie CI
Korzystacie już z systemu AI?
Niezależnie sprawdzam, czy dostarczony system naprawdę realizuje uzgodnione procesy biznesowe, poprawnie korzysta z danych i zachowuje się właściwie poza happy pathem.
acceptance report · blokery krytyczne · evidence · GO / FIX / NO-GO
Potrzebna najpierw jednorazowa diagnoza? Raport, evidence, severity i rekomendacje dla aktualnego zachowania systemu.
Potrzebny stały monitoring jakości po wdrożeniu? Cykliczne regresje, porównania wersji i trend jakości.
Punkt startowy
5 celowanych scenariuszy jednego kluczowego procesu.
Po wysłaniu formularza przejrzę opis systemu i dobiorę 5 scenariuszy do sprawdzenia. Jeśli będę potrzebował dodatkowych informacji lub dostępu do środowiska, odezwę się mailowo.
bez spotkania sprzedażowego · bez zobowiązań · formularz około 3 minut
Sample report
Każdy finding ma scenariusz, warunki wstępne, expected result, faktyczny wynik, severity i dowód tego, co poszło nie tak.
Przykładowy raport na fikcyjnym systemie
36 scenariuszy · 128 wykonań
SCENARIO PASS RATE
78%
28 / 36 scenariuszy
28 PASS
8 FAIL
RELEASE RECOMMENDATION · NOT READY
Stara wizyta zostaje anulowana przed potwierdzeniem nowego slotu. Pacjent zostaje bez żadnej wizyty, a agent potwierdza sukces.
Dane demonstracyjne. Żadne nie pochodzą od klienta.
Kto odpowiada za testy
AI Quality Engineer
Na co dzień testuję produkcyjne voiceboty i chatboty. Wcześniej przez ponad 3 lata pracowałem w QA systemów rynku energii, gdzie błędy miały realne konsekwencje biznesowe.
Projektuję testy pod reguły biznesowe, rozmowy wieloturowe, RAG, integracje i finalny stan procesu.
LinkedInFAQ
Nie. Dużą część testów można wykonać black-box przez interfejs, numer telefonu albo API. Dostęp do logów jest potrzebny dopiero wtedy, gdy chcemy oceniać konkretny etap procesu, np. retriever lub tool calle.
Nie. Interesuje mnie cały proces: odpowiedź, kontekst, reguły biznesowe, tool call, API i końcowy stan w systemie. Bot może odpowiedzieć idealnie i nadal dostać FAIL.
Pięć celowanych scenariuszy jednego kluczowego procesu: główny przepływ, regułę biznesową, rozmowę wieloturową z korektą, tool call lub grounding oraz zachowanie po błędzie. Wynikiem jest krótki raport PASS / FAIL z obserwacjami. Bez spotkania sprzedażowego.
Wybierzcie jeden kluczowy proces. Zaprojektuję 5 scenariuszy i pokażę, gdzie system działa poprawnie, a gdzie pojawia się ryzyko.