Как сделать видеосказку с озвучкой от Стивена Фрая с помощью нейросетей
Пост поклонения могуществу нейросетей.
Как легко делать видеоуроки, презентации и другой контент с закадровой озвучкой, на примере видеосказки про кролика Оливера, которую написала нейросеть.
Шаг 1: пишем сценарий в ChatGPT
Текст сказки нам напишет ChatGPT вот по такому промпту (промпт — это запрос к нейросети):
Автор озвучил сказку голосом Стивена Фрая, который записывал аудиокниги по Гарри Поттеру, поэтому русский текст перевел на английский таким промптом: «Can u rewrite your story in british english?».
Если у вас нет прямого доступа к ChatGPT, вот обходные пути:
Чат с режимом GPT-4. Бесплатный, ограничение: 5 запросов раз в 3 часа. Классное дополнение — большой список персонажей, от имени которых может общаться нейросетка. Может притворяться хоть контент-маркетологом, хоть Йодой
Тоже бесплатный вариант, ограничение: 5 запросов раз в 4 часа. Здесь из полезного — есть доступ к интернету, может искать всякие YouTube ролики например или делать анализ новостей
3. Merlin Chat
Расширение для гугл-браузера, выглядит в формате боковой панели. В день доступно 4 запроса к GPT-4
Три варианта выше также дают бесплатный доступ к GPT-3.5
Poe — здесь GPT-4 платный, но зато можно безлимитно пользоваться GPT-3.5
Шаг 2: рисуем иллюстрации в Midjourney
Чтобы нарисовать хорошие иллюстрации черезMidjourney, нужны хорошие промпты. Если просто написать «нарисуй мне кролика в волшебном лесу», результат будет каждый раз разный, плюс не будет стиля детской сказки. Поэтому автор открыл платную базу промптов и пошел в раздел fantasy:
Лучше использовать именно базы промптов — это самый быстрый способ получить желаемый результат. Вот бесплатные базы:
https://www. blueshadow. art/midjourney-prompt-commands
https://prompthero. com/midjourney-prompts
https://aituts. com/midjourney-v5
Чтобы нарисовать кролика Оливера, был выбран вот этот промпт:
ginger bunny in a jeans jacket exploring a magical forest,
by Thomas Kinkade, Ellen Jewett, Jason Felix and Cedric Peyravernay, Ligne Claire
featured on artstation, 8k, dslr, hyperreal --ar 16:9
Он содержит имена художников, которые влияют на стиль картинки. Обратите внимание — нигде в промпте не указано, что кролик должен быть в рюкзаке. Видимо слово «exploring» намекает нейросети, что без рюкзака в лес нельзя. В конце был добавлен флаг --ar 16:9, чтобы изображение было не квадратное.
Дальше по сюжету Оливер встречает белую олениху и надо сгенерировать ее лицо. С этим пришлось немного помучаться:
В новых версиях Midjourney стал платным, поэтому держите альтернативы:
Шаг 3: озвучиваем голосом Стивена Фрая
Тут можете использовать один из лучших нейросетевых генераторов речи на данный момент — Elevenlabs. Русский не поддерживается, но за деньги есть немецкий, польский, испанский, итальянский, французский, португальский и хинди. Для синтеза русской речи можно использовать например voicebot.
Введите в elevenlabs свой текст и понажимайте на разные демо-голоса — почти нет «роботических» пауз и автотюна, местами интонацию не отличить от человеческой. А главное — за 5$ в месяц можно создать уникальный голос на основе своего семпла.
Этим мы и займемся. Находим на Ютьюбе аудиокнигу, озвученную Стивеном Фраем, скачиваем аудиодорожку и «скармливаем» её нейросети. Теперь полученным голосом можно озвучивать любой текст:
Встает вопрос легальности использования голоса. Когда мы загружаем семпл, то ставим галочку, что не делаем голос для мошенничества. Но легально ли озвучить например свою аудиокнигу чужим голосом? Конечно, не указывая, что это Стивен Фрай.
В принципе, если твой голос похож голос какого-то певца, никто не запретит тебе петь, пока ты не выдаешь себя за него.
Шаг 4: собираем все вместе
Открываем бесплатный редакторСlipchampи прямо в браузере монтируем ролик. Добавляем аудиодорожку, фоновую музыку из библиотеки, делаем плавные переходы и наезды картинки.
В результате получился вот такой эпизод из сказки о кролике Оливере:
Можно поэкспериментировать с эффектами на видео, добавить паузы в озвучку, можно использовать «сиды» для генерации картинок. Но для часа работы в одиночестве результат неплохой.
Еще пару лет назад для подобного ролика потребовались бы:
- Сценарист
- Художник-иллюстратор
- Диктор
А сегодня можно в одиночку собрать по этому методу видеоинструкцию, презентацию, урок для курса и другой контент.
Автор: Нейросекта
я ду мальт будет(((
мульт
Здорово. В голове не укладывается как это генерируется