Kako deluje Computer-Using Agent | OpenAI Operator

Zaznaj

CUA zajame posnetek zaslona trenutnega stanja brskalnika in ga obdela kot surove slikovne pike z izvornim vidom in zmožnostmi uporabe računalnika modela GPT-5.4.

Presodi

Model analizira posnetek zaslona, upošteva cilj naloge in trenutni napredek ter z verigo misli načrtuje naslednje dejanje.

Ukrepaj

CUA načrtovano dejanje izvede prek virtualne miške in tipkovnice: klikanje gumbov, vnos besedila, drsenje ali pritiskanje bližnjic.

Preveri

Po dejanju se zajame nov posnetek zaslona. CUA preveri, ali je dejanje uspelo in ali naloga napreduje proti dokončanju.

Ponovi ali zaključi

Če naloga ni dokončana, se zanka nadaljuje. Če je zaznano občutljivo dejanje, se vklopi način prevzema. Če je naloga dokončana, agent sporoči rezultate.

Rezultat na merilu OSWorld

Priklic pri vrivanju promptov

0 ravni

Varnostna arhitektura

CUA v primerjavi s klasično avtomatizacijo brskalnika

Klasična avtomatizacija brskalnika (Selenium, Playwright, Puppeteer) zahteva pisanje kode, ki cilja na določene elemente HTML po ID, razredu ali izbirniku CSS. Če spletno mesto spremeni svojo zgradbo, se avtomatizacija pokvari. CUA ne potrebuje nobenega poznavanja zgradbe strani; deluje na podlagi posnetkov zaslona, zato je odporen na prenove spletnih mest. Slaba stran je, da je CUA počasnejši in manj determiniran kot avtomatizacija na osnovi kode, a deluje na katerem koli spletnem mestu brez skript po meri.