So, weekend thought. For some reason all these big LLM providers keep looking at this benchmark. (https://chat.lmsys.org/?leaderboard)
Called ChatArena. That thing where you pick an answer from two LLMs, and like you “rank” everything that way through pairwise comparisons, and then all all all the models get sorted out.
It’s considered this super honest leaderboard. But like, who’s actually sitting on that site? I seriously doubt it’s, well, let’s say “regular guys from the factory floor.” So isn’t there a bias in the scoring relative to the audience? Aren’t we assuming this sampling method is, well, kinda meh?
Or why do we trust this bench so much? Maybe there’s someone in this channel who can explain it to me.
Original (RU)
Так, мысль выходного дня. Почему-то все эти большие LLM провайдеры смотрят вот в этот
бенчмарк. (https://chat.lmsys.org/?leaderboard)
Называемый ChatArena. Это там где вы выбираете ответ из двух LLM, ну и типа ранжируете таким образом через попарное сравнение потом все все все модельки.
Считается что это такой прям честный лидерборд. Но вот кто сидит на этом сайте? Я очень сомневаюсь, что там сидят ну скажем «простые ребята с завода». То есть смещение оценки относительно аудитории не происходит ли? Не считаем ли мы что такой сэмплинг метод ну так себе работает?
Или почему так доверяем этому бенчу? Может тут у нас в канале есть кто-то, кто может мне за это пояснить.