Half of Twitter is discussing a new paper from, you won’t believe it, a team at Apple. The same folks who pretty clearly missed the current AI boom.
But the paper is interesting. (https://machinelearning.apple.com/research/illusion-of-thinking)
Pretty damn crappy, I’d say. But man, that title (just like Apple Intelligence == AI):
The Illusion of Thinking:
…
Here’s what the researchers found:
1/ for simple tasks, baseline non-reasoning models performed even better
2/ for medium-complexity tasks, reasoning models won
3/ but for hard tasks, reasoning models not only did a bad job, they didn’t even try to use their token limit (they called it a “reasoning collapse”)
A simple conclusion suggests itself. The current generation of LLMs and what it’s fashionable to call LRMs (large reasoning models) still can’t get beyond their data (solve using out-of-distribution concepts). In other words, if it wasn’t in the dataset, it won’t be in the output, because the entire output is an attempt at recombinations and complex imitations of internal representations. And all we’re seeing is basically
deductive closure, or “deductive closure.” (https://en.wikipedia.org/wiki/Deductive_closure)
And yeah, that might be enough to solve a huge number of humanity’s problems overall. But is it enough to flip science on its head? Open question.
So I think we need to actively develop tooling for these nets, because it can provide new info and feed it at least into the input context, which is already great.
A good overview of the Apple article. (https://medium.com/@vishalmisra/the-illusion-of-thinking-why-language-models-cant-improve-themselves-0c71a13811e2)
Or maybe just a good overview of what’s what.
BUT the simplest version of why the models folded on these “hard tasks” is that they need a shitload of context to solve them, so all the reasoning just tore unexpectedly. But needs checking.
Here’s an explanation (https://x.com/scaling01/status/1931783050511126954?s=46)
that there’s just not enough output context. SO classic Apple bullshit bingo, justifying their lag.
Original (RU)
Половина твиттера обсуждает новую работу, не поверите, команды из Apple. Которые в явной степени пропустили текущий бум AI.
Но работа интересная. (https://machinelearning.apple.com/research/illusion-of-thinking)
Достаточно хреновая я бы сказал. Но заголовок то какой (прям как Apple Intelligence == AI):
The Illusion of Thinking:
…
Вот что обнаружили исследователи:
1/ для несложных задач базовые модели без рассуждений даже лучше себя показали
2/ для средних по сложности задач выиграли рассуждающие модели
3/ но вот для сложных задач рассуждающие модели не только плохо справились, так еще и даже не пытались свой предел по токенам использовать (назвали это коллапсом рассуждений)
Напрашивается простой вывод. Текущее поколение LLM и как модно сейчас называть LRM (large reasoning models) все еще не могут выйти за пределы своих данных (решить используя концепты out of distribution). Другими словами если не было в датасете то и не будет на выходе, ибо весь выход это попытка рекомбинаций и сложных имитаций внутренних представлений. А все что мы наблюдаем это по сути
deductive closure или дедуктивное замыкание. (https://en.wikipedia.org/wiki/Deductive_closure)
И да этого может быть достаточно чтобы решить огромное количество проблем человечества в целом. Но достаточно ли чтобы перевернуть науку? Вопрос открытый.
Поэтому считаю надо активно развивать тулинг для сеток, ведь он способен дать новую инфу и подать ее хотя во входящий контекст что уже отлично.
Хороший обзор на статю Apple. (https://medium.com/@vishalmisra/the-illusion-of-thinking-why-language-models-cant-improve-themselves-0c71a13811e2)
А может и просто хороший обзор чего к чему.
НО самая простая версия почему модели загибались на этих «сложных задачах», что им надо дофига контекста чтобы их решить поэтому все рассуждения просто рвались неожиданно. Но надо проверять.
Вот объяснение (https://x.com/scaling01/status/1931783050511126954?s=46)
что выходного контекста тупо не хватает. ТАК ЧТО classic Apple bullshit bingo оправдывая свое отставание.