Wanted to add my important two cents about these guys sitting on the first line of the US AppStore. This is, so far in my memory, the only example where literally all optimizations have been done vertically, from the math all the way down to the hardware. Basically the solution architecture in the compute data center is tailored to a specific net and its training. Welcome to the guys from high frequency trading. You can read it carefully here. (https://arxiv.org/pdf/2501.12948)
Adding: for comparison, it’s like Apple in the world of consumer devices. Basically everything, starting from the hardware, processors, software, the operating system, is made by one company. I’m sure the Chinese are sticking to the same logic, and practice shows it’s always the strongest product.
Original (RU)
Хотел добавить важные пять копеек про вот этих ребят на первой строчке US AppStore. Это пока на моей памяти единственный пример где проведены абсолютно все оптимизации вертикально начиная с математики заканчивая железом. По сути архитектура решения в вычислительном дата центре подобрана под конкретную сетку и ее обучение. Добро пожаловать к ребятам из high frequency trading. Почитать внимательно можно
тут. (https://arxiv.org/pdf/2501.12948)
Добавлю: для сравнения это как Apple в мире consumer устройств. По сути все начиная с железа, процессоров, софта, операционной системы сделано одной компанией. Я уверен китайцы держат такую же логику и как показывает практика это всегда самый сильный продукт.