“It’s a good model, sir” (c)
P. S. The longer a modern benchmark is publicly available, the higher the chance someone’s replicated its logic and dumped a ton of synthetic crap into the dataset. Or maybe not :)
Video available in the original Telegram post.
Original (RU)
It’s a good model, sir (c)
P. S. Чем дольше современный бенчмарк в паблик доступе тем выше вероятность, что его логику повторили и занесли тонну синтетики в датасет. А может и нет :)