Компанія Meta оголосила про розробку нової ШI-моделі під назвою Movie Gen, яка буде здатна створювати реалістичні відео та аудіокліпи за допомогою запитів користувачів. Компанія заявила, що ця технологія може стати конкурентом інструментам для таких стартапів, як OpenAI та ElevenLabs.

Про це пише Reuters.

Зазначається, що Meta продемонструвала приклади створених Movie Gen відео, серед яких — зображення тварин, які плавають і займаються серфінгом, а також відео, у яких люди зображені під час дій, як-от малювання на полотні, на основі реальних фотографій користувачів.

Модель Movie Gen також може генерувати фонову музику та звукові ефекти, синхронізовані з контентом відео, і використовуватися для редагування вже існуючих відеороликів.

За даними Meta, тривалість відео, створених Movie Gen, може досягати 16 секунд, а аудіо — до 45 секунд. Компанія провела тестування, яке показало, що модель показує хороші результати порівняно з пропозиціями від таких стартапів, як Runway, OpenAI, ElevenLabs та Kling.

Представники Meta зазначили, що компанія навряд чи відкриє доступ до Movie Gen для розробників, як це було з моделями Llama, пояснюючи, що кожну модель оцінюють індивідуально з погляду ризиків. Однак Meta працює безпосередньо з представниками індустрії розваг та контент-креаторами над потенційним використанням Movie Gen і планує інтегрувати цю технологію у свої продукти наступного року.

У блозі компанії та в дослідницькому документі зазначається, що для створення Movie Gen використовувалися як ліцензовані, так і публічно доступні набори даних.

Нагадаємо, OpenAI запустила інтерфейс Canvas для взаємодії з ChatGPT. 

Фото: Reuters.