We’re in for replacing junior devs, we’re in for an agent on top of an agent for anything and everything. But like always overall, so far all these agents seem basically useless to me autonomously and only really help a human with routine tasks. And as confirmation of that, OpenAI has a new paper. Though sure, the results are impressive. Gotta try grabbing some website tasks for outsourcing like this :) maybe we’ll make some money!
SWE-Lancer: Evaluating the capabilities of modern LLMs in real freelance software development. (https://arxiv.org/abs/2502.12115)
That’s how it is! They took a ton of real little tasks from Upwork (here of course we discount for quality and understand that tasks inside corporations will be totally different in content and complexity) and made a bench. Who can earn how much out of the current nets.
TLDR:
1/ Claude tears all its competitors apart and even beats the o1-series reasoning nets (wow, admitted defeat, hoping for the best)
2/ the results are very far from ideal and all the nets don’t handle even half the tasks, although in the manager section (accept/choose the right solution from ready-made ones) things are way better, but still only about half solved correctly.
3/ the task focus is on full-on full-stack development, by the way
Pics of who managed to earn how much out of a million bucks (successful completion of tasks from the bench is a conditional million dollars on Upwork).
Original (RU)
Наш ждет замена джун разработчиков, нас ждет агент на агенте для всего и вся. Но как обычно в целом, пока все эти агенты мне кажутся практически бесполезными автономно и только хорошо помогают человеку с рутинными задачами. И подтверждении этого из OpenAI новая работа. Хотя конечно, результаты впечатляют. Надо будет попробовать так взять задач на аутсорсинг сайтов :) вдруг заработаем!
SWE-Lancer: Оценка возможностей современных LLM в реальной фриланс-разработке ПО. (https://arxiv.org/abs/2502.12115)
Такие вот дела! Взяли тучу задачек реальных с upwork (тут конечно же делаем скидку на качество и понимаем, что задачи внутри корпораций будут совсем другие по содержанию и сложности) и сделали бенч. Кто сколько заработает из текущих сеток.
TLDR:
1/ Claude рвет всех своих конкурентов и даже побеждает ризонинг сеточки о1 серии (ого, признали свое поражение, надеемся на лучшее)
2/ результаты прям очень далеки от идеальных и все сетки не справляются даже с половиной задач, хотя в менеджерской секции (прими/выбери правильное решение из готовых) все намного лучше, но все равно около половины только решено верно.
3/ фокус задач на полноценной фул стэк разработке кстати
Картиночки кто сколько из ляма баксов (успешное выполнение задач из бенча стоит на upwork условный миллион долларов) смог заработать.