Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego serca jego architektury. U fundamentu leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw rejestruje informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten obieg odtwarza się kilkakrotnie, aż do uzyskania zamierzonego efektu.
Sercem tego procesu jest model językowy, który pełni rolę wewnętrznego głosu konsultacyjnego agenta. To on odczytuje instrukcje użytkownika, dzieli złożone zadanie na mniejsze podzadania i proponuje kolejność ich wykonania. Środowisko modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy potrzebuje precyzyjnych danych spoza swojej wiedzy treningowej.
Interesującym elementem architektury jest tak zwana pamięć robocza, w której agent przechowuje tło bieżącego zadania. Dzięki niej nie gubi wątku nawet wtedy, gdy procedura rozkłada się na kilka etapów i wymaga przełączania między różnymi źródłami informacji. To dokładnie ta umiejętność odróżnia agenta od prostego skryptu, który odtwarza jedynie wcześniej zapisaną listę poleceń.
Oddzielną sprawą pozostaje mechanizm ewaluacji własnych działań. Dobrze skonstruowany agent jest w stanie rozpoznać, że otrzymany wynik nie zgadza się od oczekiwanego, i wrócić do poprzedniego etapu, by spróbować innej ścieżki. Taka samokorekta zbliża działanie maszyny do ludzkiego nawyku sprawdzania własnej pracy przed jej złożeniem.