Well finally all the fans got served up another benchmark that’s pretty solid in my book (https://epochai.org/frontiermath) — this time in math. And there basically nobody solves it, and btw there’s no difference between o1 & gpt4o either. The endless hype around LLMs I think will die down hard, because the current progress just trivially depends on labeling and preference data (one option is better than the other). So I’m expecting the top end to slow down and small models to grow fast in quality. Since they’ll be trained on higher-quality data.
Original (RU)
Ну наконец-то всем фанатам подкатили еще один
солидный как по мне бенчмарк (https://epochai.org/frontiermath)
на этот раз по математике. И там прям никто не решает его и кстати разницы между o1 & gpt4o тоже нет.
Бесконечный хайп вокруг LLM думаю сильно стихнет, так как текущий прогресс просто банально зависит от разметки и данных о предпочтениях (один вариант лучше другого). Поэтому жду замедления высшей точки и быстрого роста небольших моделей по качеству. Так как их будут тренировать на качественных более данных.