Раніше тут вже писали про нейромережу SORA яка може генерувати відео за описом, а тепер є нейронка яка може озвучити ці відео.
Компанія ElevenLabs показала нейромережу, яка може озвучувати відео, які створює нова нейромережа Sora від OpenAI. Для цього потрібно дати опис звукового супроводу, але у майбутньому ElevenLabs обіцяють, що їхня модель сама підбере аудіо на основі опису лише сцени для відео.
Так як працює поки лише за описом, то звук буде більш загальним, і якщо будуть якісь специфічні моменти прив'язані за часом, то скоріш за все воно буде невпопад, але як тільки описова модель зможе сама аналізувати відео, то це буде абсолютно новий рівень
Обговорення