A paper just dropped in passing on generating already controllable environments. You know, those minigames like Mario.
Still gotta remind you: this doesn’t mean it’s game over for all game devs. You need a huge dataset that’s basically all the same under the hood, which is exactly what works for platformers.
Inside:
- LAM Latent Action Model that lets you do dynamics with actions (your joystick)
- the now-standard thing: a video tokenizer with a transformer on top
End result so far: 1 FPS and it guzzles millions of memory.
https://sites.google.com/view/genie-2024/
Video available in the original Telegram post.
Original (RU)
Мимолетом вышла работа по генерации уже контролируемых сред. Ну знаете такие миниигры типа Марио.
Все еще напоминаю, что это не значит что всем гейм девелоперам капут. Нужен огромный одинаковый по своей сути датасет что как раз подходит для платформеров.
Внутри:
- LAM Latent Action Model что позволяет делать динамику с действиями (вашим джойстиком)
- стандартная уже тема video tokenizer с трансформером поверх
Итого пока 1FPS и миллионы памяти жрет.