Sometimes I jump into random dialogues on Twitter. This time I ended up with GP at A16Z Martin Casado.
He posted a really interesting take that’s very close to me and that I instinctively lean toward, but I can’t explain why it’s like that.
It all hangs on this hypothesis. There are two types of problems solved with AI: problems with soft decision boundaries (soft-decision boundary problems) and problems with hard decision boundaries (hard-decision boundary problems). In soft-boundary problems (all sorts of assistants, image/effect generation, etc.) you can allow small mistakes without affecting the outcome. Hard-boundary problems (agents) are the ones where even a single mistake will affect whether you succeed. An agent makes a sequence of decisions and performs actions to reach a result. One wrong step leads to failure. That’s why they “empirically” feel unreliable. And that’s why a bunch of questions pop up around their alignment.
The “fix” for this mismatch is that you verify the solution (either with another smarter agent, or via verification against facts or search), and if it doesn’t fit, you do another 100500 different prompts for the same step. And keep going until you hit the target. Which, for me, basically contradicts the idea of an LLM as a compressed representation of data with some probabilistic structure.
TLDR: why try to eliminate probabilities if they’re baked into the very essence of the tech. Haven’t gotten it yet. And it seems like for soft-boundary problems an LLM is a great tool, and where the cost of an error is high — not so much.
Original (RU)
Иногда вступаю в разные диалоги в твиттере. В этот раз оказался с GP A16Z Martin Casado.
Он запостил крайне интересное мнение, которое мне очень близко и к которому я на уровне интуиции склоняюсь, но не могу объяснить почему так.
Держится все на следующей гипотезе. Существует два типа проблем, решаемых с помощью AI: проблемы с мягкими границами принятия решений (soft-decision boundary problems) и проблемы с жесткими границами принятия решений (hard-decision boundary problems). В проблемах с мягкими границами (всякие ассистенты, генерация изображений/эффектов итд) можно допускать небольшие ошибки без влияния на результат. Проблемы с жесткими границами (agents) - это те, где даже одна ошибка повлияет на успех результата. Агент принимает последовательность решений и выполняет действия для достижения результата. Один неверный шаг ведет к неудаче. Вот почему они "эмпирически" воспринимаются как ненадежные. И как соответствие к ним возникает много вопросов.
Решение же данной неувязки лежит в том, что решение проверяется (либо другим более умным агентом либо через верификацию фактом или поиском) и если не подошло, то делаем еще 100500 разных запросов по тому же шагу. И пока не попадем в цель. Что для меня в принципе противоречит идеи LLM как сжатому представлению данных с определенной вероятностной структурой.
TLDR: зачем пытаться устранить вероятности если они зашиты в саму суть технологии. Пока не понял. И кажется что для проблем с мягкой границей LLM прекрасный инструмент, а там где цена ошибки велика - не очень.