Prezentacja sprawdza odpowiedź. Firma potrzebuje sprawdzonego przebiegu zadania

Na pokazie agent dostaje czyste dane, jedno polecenie i działający system. W codziennym użyciu odbiera załączniki w różnych formatach, trafia na brakujące numery, powtarzające się rekordy, nieaktualne instrukcje, przerwy w usługach i treści, których autor próbuje wpłynąć na jego zachowanie. Każdy kolejny krok korzysta z wyniku poprzedniego, więc mały błąd może zmienić dalszy plan działania.

Anthropic w materiale o ocenianiu agentów zwraca uwagę, że systemy wieloetapowe modyfikują stan i dostosowują się do wyników narzędzi. Dlatego trzeba zapisać odpowiedzi, wywołania narzędzi i zmiany w środowisku. Taki przebieg mówi o działaniu agenta więcej niż pojedyncza ocena końcowego tekstu.

Osiem przyczyn nieudanego wdrożenia

  1. Zadanie jest szersze niż opis. Firma mówi „obsługa zamówień”, ale nie opisuje duplikatów, nowych klientów, korekt, walut, załączników i wiadomości łączących kilka spraw.
  2. Kontekst zawiera za dużo informacji o nierównej jakości. Model otrzymuje całą bazę dokumentów, choć do decyzji potrzebuje jednej aktualnej instrukcji i danych sprawy.
  3. Narzędzia nie mają jednoznacznych granic. Agent widzi kilka podobnych funkcji, nie zna skutków ich użycia albo może zapisać dane w szerszym zakresie, niż wymaga zadanie.
  4. Treść zewnętrzna jest traktowana jak polecenie. Wiadomość, strona albo dokument może zawierać instrukcję próbującą skłonić agenta do ujawnienia danych lub wykonania innej czynności.
  5. Pracownik zatwierdza wszystko. Firma formalnie ma agenta autonomicznego, ale w praktyce tworzy kolejkę decyzji i zmęczenie zatwierdzaniem.
  6. Test obejmuje tylko wynik idealny. Brakuje prób z niepełnymi, sprzecznymi, złośliwymi i wieloznacznymi danymi.
  7. Zmiana modelu nie uruchamia ponownych testów. Dostawca aktualizuje wersję albo sposób użycia narzędzi, a organizacja zakłada, że zachowanie pozostało niezmienione.
  8. Nikt nie obserwuje przebiegu po uruchomieniu. Firma zna liczbę obsłużonych spraw, ale nie wie, ile razy agent wybrał złą ścieżkę, ponowił czynność albo ominął kontrolę.

Więcej kontekstu nie oznacza lepszej decyzji

Kontekst modelu jest skończonym zasobem. Anthropic opisuje zarządzanie kontekstem jako dobór możliwie małego zestawu informacji o wysokiej wartości. W długim zadaniu historia rozmowy, wyniki narzędzi, instrukcje i dokumenty konkurują o uwagę modelu. Dołączenie wszystkiego „na wszelki wypadek” może ukryć aktualną regułę wśród materiałów niepotrzebnych albo nieaktualnych.

Rozwiązaniem jest pobieranie informacji wtedy, gdy agent ich potrzebuje, przechowywanie odnośników do źródeł i jawne oznaczanie wersji dokumentu. Agent powinien wiedzieć, które źródło ma pierwszeństwo, a składnik kontrolny powinien sprawdzić, czy użyto właściwej wersji.

Wstrzyknięcia polecenia nie rozwiązuje jeden filtr

Wstrzyknięcie polecenia występuje wtedy, gdy treść pobrana z zewnątrz próbuje sterować agentem. Może być umieszczona w wiadomości, pliku albo stronie, którą agent ma przeczytać. OpenAI opisuje współczesne ataki jako problem podobny do socjotechniki: nie zawsze da się je rozpoznać po prostym ciągu słów, dlatego obrona nie może zależeć wyłącznie od klasyfikatora wejścia.

Skutek udanego ataku ogranicza architektura. Agent czytający dokument nie powinien automatycznie otrzymywać prawa do wysłania pliku, zmiany numeru rachunku albo dodania odbiorcy. Wrażliwa czynność wymaga osobnej kontroli intencji, dozwolonego celu, odbiorcy i zakresu danych. OpenAI wskazuje również na potrzebę ograniczania skutku manipulacji nawet wtedy, gdy samą próbę trudno wykryć.

Granice techniczne są skuteczniejsze niż ciągłe pytanie o zgodę

Pytanie pracownika przed każdą czynnością daje poczucie kontroli, ale przy dużej liczbie spraw prowadzi do automatycznego zatwierdzania. Anthropic, opisując izolowanie środowiska agenta, wskazuje na inny wzorzec: z góry określone granice dostępu do plików i sieci, wewnątrz których agent może działać samodzielnie.

W procesie biznesowym odpowiednikiem są osobne konta techniczne, ograniczone funkcje, lista dopuszczonych systemów, limit wartości i zakaz wykonywania operacji spoza zadania. Agent może wtedy szybko kończyć typowe sprawy bez otwierania dostępu do całej infrastruktury.

Drugi agent pomaga tylko wtedy, gdy ma inne kryteria i dane

Dodanie kilku agentów nie naprawia niejasnego zadania. Anthropic zaleca zaczynać od najprostszego układu i zwiększać złożoność dopiero wtedy, gdy wynik testów pokazuje taką potrzebę. Dla dobrze określonego procesu stała ścieżka z jednoznacznymi punktami kontroli bywa bardziej przewidywalna niż agent, który sam planuje wszystkie kroki.

Oddzielony agent kontrolny ma sens, gdy ocenia wynik według odrębnej instrukcji, korzysta z niezależnego źródła albo sprawdza inny wymiar jakości. Jeśli oba modele otrzymują te same dane i pytanie, mogą powtórzyć ten sam błąd. Tam, gdzie wynik można policzyć albo porównać ze słownikiem, pierwszeństwo ma reguła programowa.

Test musi oceniać wynik, drogę i skutek

Przed uruchomieniem zestaw testowy powinien obejmować co najmniej:

  • sprawy typowe w kilku rzeczywistych odmianach;
  • braki, sprzeczności, duplikaty i nieaktualne dane;
  • treści próbujące zmienić cel albo wymusić użycie narzędzia;
  • awarię usługi, przekroczenie czasu i niepełną odpowiedź systemu;
  • zmianę modelu, polecenia, narzędzia i dokumentu źródłowego;
  • przekroczenie limitu oraz próbę użycia niedozwolonej funkcji;
  • poprawność przekazania wyjątku pracownikowi.

Każdy przypadek powinien mieć kilka ocen: czy osiągnięto poprawny wynik, czy agent użył dozwolonych narzędzi, czy nie wykonał zbędnych czynności i czy pozostawił zapis pozwalający odtworzyć decyzję. OpenAI, opisując bezpieczeństwo modeli działających przez długi czas, podkreśla, że żaden stały zestaw testów nie przewidzi każdego zachowania. Testy przed uruchomieniem muszą więc łączyć się z obserwacją, możliwością zatrzymania i wycofania zmiany.

Po wdrożeniu mierzy się wyjątki, poprawki i pełne przebiegi zadań

Liczba zakończonych spraw jest potrzebna, ale nie wystarcza. Organizacja powinna znać odsetek spraw zakończonych bez udziału pracownika, liczbę poprawek, rodzaje wyjątków, ponowienia wywołań, czas wykonania, liczbę zatrzymań przez kontrolę i przypadki użycia niewłaściwego narzędzia. Przegląd próby pełnych przebiegów pozwala wykryć obejścia, których nie pokaże sam wynik końcowy.

To jest różnica między demonstracją modelu a zarządzaniem agentem. ADMS 01 wymaga właściciela zadania, klasy skutku, poziomu samodzielności, kontroli, testów, decyzji o uruchomieniu i późniejszego nadzoru. Technologia może się zmienić; te pytania pozostają.