Some thoughts on agent systems like Operator from OpenAI and Claude has a…

· Original on Telegram


Some thoughts on agent systems like
Operator from OpenAI (https://openai.com/index/introducing-operator/)
and Claude has a similar thing. Like you give it a task and it drives the browser (moves the mouse and uses the keyboard). So here are my two cents:
1/ Honestly these are some kind of public experiments, in their current form it’s a product with no future and clearly outdated. Andrey Karpathy wrote on Twitter that they’d thought up a similar thing back in 2016–17, before, so to speak, any meaningful progress in transformers. Why the hell emulate browser behavior if you can use an API or scripts or something else and do it without the visual layer that obviously slows everything down like crazy. This is basically a nod to the
MCP project. (https://www.anthropic.com/news/model-context-protocol)
Which will make all this visual trash unnecessary.
2/ Still, standing apart for me is the old product problem of voice assistants (btw do you use them often?). For most tasks it’s harder to set them by voice/text than to just tap through or click around in a normal UI. In short, the phrasing itself already causes trouble, not to mention that changes can happen along the way, and controlling all of it by voice is kinda painful. Try to imagine the process of ordering a pizza to your place (let’s say the system knows where your place is, you start choosing where to order from, picking a pizza, oh and you gotta check the price, and maybe even a photo or ingredients, well basically we haven’t even gotten to the part where delivery shouldn’t be to the door but downstairs, or like special instructions on how to get into the courtyard). In other words, a graphical interface massively simplifies interaction with information and how it’s presented. How to make the interaction faster, I don’t know yet. The idea of embedding an LLM somewhere is totally fine, but right now everything works like shit and there’s no trust.
3/ and yet with the release of the Chinese model
Deepseek r1 (https://www.deepseek.com/)
everyone started panicking like “look, it’s open source and everything about it is more or less clear,” except how much they actually dumped into training resources (if you believe the Chinese, they got the same as OpenAI but for “$5–50m,” which is of course very cheap). Still, using this goodness is hard. I find factual errors in every other prompt if it’s more complex than basic instructions. Or the ability to go on the internet raises questions. I’ll drop screenshots in the comments, curious what you think.
TLDR: keep an eye on the space, but agents in their current form are just research lab experiments.

Original (RU)

Немного мыслей про агентские системы типа
Operator от OpenAI (https://openai.com/index/introducing-operator/)
и похожая штука есть у Claude. Типа даешь таск и оно управляет браузером (мышкой водит и клавиатурой пользуется). Так вот мои три копейки:
1/ Честно говоря это какие-то public эксперименты, в текущем виде это продукт без будущего и явно outdated. Андрей Карпаты написал в тви что похожую тему они задумали еще в 2016-17 до так сказать прогресса в трансформерах значимого. Зачем вообще эмулировать поведение браузера если можно пользовать API или там скрипты или еще что-то и сделать это без визуальной составляющей которая явно все дико замедляет. Это все отсылка к проекту
MCP. (https://www.anthropic.com/news/model-context-protocol)
Который сделает весь этот визуальный мусор ненужным.
2/ Все еще для меня особняком стоит старая продуктовая проблема голосовых ассистентов (кстати как пользуетесь часто?). Большая часть задач ставится голосом/текстом сложнее чем через обычный интерфейс протапать или прокликать. Одним словом формулировка уже вызывает сложности, не говоря о том, что по пути изменения могут происходить и голосом этим всем управлять тяжеловато. Попробуйте представить процесс заказа пиццы на дом (допустим система знает где дом, вы начинаете выбирать где заказать, выбирать пиццу, ой а надо же глянуть цену, а может даже фотку или состав, ну короче это мы еще не пришли к тому что если доставить нужно не к двери, а внизу или вот специальные инструкции как зайти во двор). Другими словами графический интерфейс сильно упрощает взаимодействие с информацией и ее представление. Как сделать взаимодействие быстрее я пока не знаю. Идея встроить куда-то там LLM очень даже ок, но на данный момент и работает все ужасно и доверия нет.
3/ ну и все же с релизом китайской сетки
Deepseek r1 (https://www.deepseek.com/)
все начали паниковать мол смотрите она же open source и все про нее более менее понятно, кроме того сколько ресурсов влили в обучение реально (если верить китайцам то они получили тоже самое что OpenAI только за «5-50м баксов» что конечно очень дешево). Тем не менее пользоваться все еще этим добром тяжело, я нахожу фактические ошибки в каждом втором запросе если он посложнее инструкций. Или вот возможность сходить в интернет вызывает вопросы. Оставлю в комменте скрины интересно ваше мнение.
TLDR: следим за областью, но агенты в текущем виде это просто эксперименты рисерч лаб.