A pretty cool blog post came out, one I myself wanted to try writing. But I might be kinda meh as a coder and researcher. Still, on the level of vibes it’s a direct hit.
In short: in the race to automate coding and, as many believe, then the whole of software engineering after it, there’s one detail. Today everyone is trying to brute-force improve the models, and yeah, that’s understandable. Some hypothesis of the last three years: like, model performance alone is enough and then everything will be awesome. But there’s always another problem sitting right next to it.
Let’s call it the “harness” problem. Everyone’s building the fastest car. But where you’re supposed to sit comfortably — nobody’s thinking about that yet. Like, in code editing, just changing the approach to how we edit code and how we feed formatting into the model already changes the result a lot. In the article the guy put hashes next to line numbers and some models improved their benchmark results by 10x.
Worth noting that there are benches from JetBrains on this topic too.
And the jump in quality is insanely strong even for top models if you just change the basic format of interaction with code. AI isn’t only models, it’s tooling, it’s inference, it’s hardware — all together. And you can run everywhere or somewhere separately. Massive field for startups.
Links from the original post:
Original (RU)
Вышла достаточно прикольная
блог статья,
которую сам хотел попробовать написать. Но кодер и рисерчер из меня может быть так себе. Но на уровне ощущений это прям попадание.
Если кратко то в гонке по автоматизации кодинга и, как многие считают, следом пойдет и весь software engineering, есть одна деталь. Сегодня все пытаются в лоб улучшать модели и оно понятно. Некая гипотеза прошлых трех лет, что мол одного перформанса модели достаточно чтобы потом уже все было топ. Но всегда рядом есть еще одна проблема.
Назовем ее проблема «упряжки» (harness). Все занимаются построением самой быстрой тачки. А вот где сидеть удобно пока никто не думает. Например вот в code editing банально изменив подход, каким образом мы редактируем код и подаем форматирование в модель уже очень сильно меняет результат. В статье чувак хэши рядом с номером строк поставил и некоторые модели улучшили свой результат в бенчах в 10 раз.
Стоит отметить что
бенчи
есть и от jetbrains по этой теме.
И прыжок в качестве ну очень сильный даж для топ моделей если просто поменять базовый формат взаимодействия с кодом. AI это не только модели, это тулинг, это инференс, это железо - все вместе. И бежать можно везде или где-то по отдельности. Огромная поляна для стартапов.