A thought crept in. Doesn’t it seem to you that a harness is technical debt, since there are systems there that rely on specific prompts. Like, in practice we’re hoping that a phrase worded in a certain way will give a better result. But that changes with every model version.
So even if the model changed (even if they suddenly slipped a quantized one into your API or switched the inference version) everything can drift apart on you? Turns out prompts—and the more of them you have—are a kind of technical debt, and a hefty one at that. Maintaining something you don’t understand is a so-so task. In the sense that without knowing what the model does well and what data they poured in, making prompts is gonna be rough.
Overall my take: if the model was trained properly on certain tasks, the prompt’s influence won’t be that big. But on the other hand Cloudflare reports after experiments on Mythos that, like, harness is our everything. Where the truth is isn’t clear, but what’s definitely clear to me is: building “forever” harnesses without your own model is shooting yourself in the foot.
Original (RU)
Такая мысль закралась. А вам не кажется, что харнесс это технический долг, ведь там есть системы которые опираются на конкретные промты. То есть по факту мы надеемся что определенным образом сформулированная фраза даст лучший результат. Но это же меняется с каждой версией модели.
Получается, даже если модель поменялась (даже если вам квантованную вдруг подложили в API или сменили версию инференса) у вас может все разъехатся? Выходит промты и чем их больше это своего рода техннический долг и причем приличный. Поддерживать то, что не понимаешь так себе задача. В том смысле, что не имея знаний о том, что модель делает хорошо и какие данные долили сделать промты будет тяжко.
Вообще мое мнение, если модель обучили хорошенько на определенных задач влияние промта будет не такое большое. Но с другой стороны Cloudflare репортит после экспериментов на Mythos что мол харнесс наше все. Где правда не ясно, но что мне точно понятно, что делать харнессы на века без своей модели это выстрел себе в ногу.