Lilian Weng, the cofounder of thinking machines, always has interesting posts.
This time it’s about how to build harnesses, or the wiring/scaffolding/environment for running models to solve specific tasks.
I’d say a really important point that’s very often missing in “duct-taped” harnesses is this thing:
The design should be deliberately simple and generic to enable generalization, likely with reference to existing software engineering practices to benefit from prertaining knowlege.
And my take is that we’ll be redesigning modern OSes around an AI that’s always running in the background (i.e., inference should basically be spinning forever in the background).
Links from the original post:
Original (RU)
У кофаундера thinking machines Lilian Weng всегда интересные
посты
. На этот раз про то как делать харнесы или обвязки/среду для работы моделей для решения определенных задач.
Я бы сказал, что очень важный пункт, который очень часто отсутствует у «на коленке» харнесов это вот такая штука:
The design should be deliberately simple and generic to enable generalization, likely with reference to existing software engineering practices to benefit from prertaining knowlege.
Ну и мой take что мы будем редизайнить современные OS вокруг вечно работающего в фоне AI (то есть инференс должен как бы крутиться вечно в фоне).