«Сбер» представил семейство генеративных моделей Kandinsky WM 1.0, которые способны создавать короткие видео, соответствующие базовым законам физики и пригодные для обучения систем Physical AI, - сообщает пресс-служба финансовой организации. В основе лежит нейросеть Kandinsky 5.0 VideoLite, обученная на реальных видео с камер роботов, беспилотных автомобилей и записях промышленных процессов. Код и веса нейросетей опубликованы под лицензией MIT и доступны всем разработчикам мира бесплатно.
Особенная ценность разработки в том, что она позволяет синтезировать редкие, опасные или трудно воспроизводимые сценарии: ДТП, экстремальные погодные условия, отказы оборудования, - отмечается в сообщении.
Видео моделей Kandinsky WM 1.0 длятся около 5 секунд и отражают отдельные действия: манипуляции с предметами (взял, положил, разрезал), дорожные ситуации (перестроение, проезд перекрёстка), этапы производственных процессов - базовые «кирпичики», из которых складывается обучение автономных систем.
Это первое поколение нейросетей на пути к полноценным моделям мира - системам, способным моделировать развитие сцены во времени и служить симуляторами для обучения и тестирования роботов, - подчеркивается в релизе.
Модели Kandinsky WM 1.0 пригодятся разработчикам беспилотного транспорта, от легковых автомобилей до грузовиков и роботакси, компаниям в сфере промышленной автоматизации: производителям манипуляторов, промышленных, сервисных и антропоморфных роботов, командам, внедряющим компьютерное зрение на производствах и складах.
Модели уже применяет Центр робототехники Сбера для обучения собственных роботов, а также институт AIRI в своем дорожном симуляторе.
