Alibaba opracowuje AgentEvolver
Naukowcy z Tongyi Lab należącego do Alibaby opracowali rewolucyjną technologię **AgentEvolver**, która znacząco poprawia wydajność agentów AI w wykorzystaniu narzędzi. Nowe rozwiązanie zwiększa wydajność modeli o około **30%** poprzez wykorzystanie syntetycznych, autogenerowanych zadań. Framework ten umożliwia agentom samodzielne generowanie danych treningowych poprzez eksplorację środowiska aplikacji.
AgentEvolver wykorzystuje wiedzę i zdolności rozumowania dużych modeli językowych (LLM) do autonomicznego uczenia się, co eliminuje wysokie koszty i ręczne nakłady pracy, typowo wymagane do zbierania dedykowanych zestawów danych.
AgentEvolver vs. Tradycyjne Metody
Eksperymenty pokazują, że w porównaniu z tradycyjnymi frameworkami opartymi na uczeniu ze wzmocnieniem (reinforcement learning), AgentEvolver jest bardziej efektywny w eksploracji środowiska, lepiej wykorzystuje dane i szybciej adaptuje się do środowisk aplikacji. Dla przedsiębiorstw jest to znaczące, ponieważ obniża barierę wejścia w trening agentów dla niestandardowych aplikacji, czyniąc potężnych, dostosowanych asystentów AI bardziej dostępnymi dla szerszego grona organizacji.
Wysokie koszty treningu agentów AI
Uczenie ze wzmocnieniem stało się głównym paradygmatem treningu LLM w celu działania jako agenci, którzy mogą wchodzić w interakcje z cyfrowymi środowiskami i uczyć się na podstawie feedbacku. Jednak rozwój agentów z wykorzystaniem RL wiąże się z fundamentalnymi wyzwaniami. Po pierwsze, zebranie niezbędnych zestawów danych treningowych jest często nieopłacalne, wymagając znacznych nakładów pracy ręcznej w celu tworzenia przykładów zadań, szczególnie w nowych lub zastrzeżonych środowiskach oprogramowania, w których nie są dostępne gotowe zestawy danych. Po drugie, techniki RL powszechnie stosowane dla LLM wymagają od modelu przejścia przez ogromną liczbę prób i błędów, aby efektywnie się uczyć. Proces ten jest kosztowny obliczeniowo i nieefektywny. W rezultacie trening wydajnych agentów LLM poprzez RL pozostaje pracochłonny i kosztowny, co ogranicza ich wdrażanie w niestandardowych ustawieniach korporacyjnych.
Jak działa AgentEvolver?
Główną ideą AgentEvolver jest zapewnienie modelom większej autonomii w procesie uczenia się. Naukowcy opisują go jako „samodzielnie rozwijający się system agentów”, zaprojektowany w celu „osiągnięcia autonomicznej i efektywnej ewolucji możliwości poprzez interakcję ze środowiskiem”. Wykorzystuje moc rozumowania LLM.