Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego serca jego architektury. U fundamentu leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw odbiera informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten obieg powtarza się wielokrotnie, aż do uzyskania zamierzonego efektu.
Sercem tego procesu jest model językowy, który odgrywa rolę własnego głosu konsultacyjnego agenta. To on odczytuje instrukcje użytkownika, rozbija złożone zadanie na drobniejsze podzadania i sugeruje kolejność ich realizacji. Środowisko modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy wymaga precyzyjnych danych spoza swojej wiedzy treningowej.
Interesującym elementem architektury jest tak zwana pamięć operacyjna, w której agent trzyma kontekst bieżącego zadania. Dzięki niej nie gubi wątku nawet wtedy, gdy procedura rozkłada się na wiele etapów i potrzebuje przełączania między różnymi źródłami informacji. To właśnie ta umiejętność wyróżnia agenta od podstawowego skryptu, który wykonuje jedynie wcześniej zapisaną listę poleceń.
Osobną sprawą pozostaje mechanizm oceny własnych działań. Odpowiednio skonstruowany agent potrafi zidentyfikować, że otrzymany wynik odbiega od oczekiwanego, i cofnąć się do poprzedniego etapu, by spróbować innej ścieżki. Taka samokorekta zbliża działanie maszyny do ludzkiego zwyczaju sprawdzania własnej pracy przed jej złożeniem.