Великий обман: как нейросеть оживляет умерших, меняет мимику и дубляж в кино?
Что делать, если актёр заматерился
В августе 2022 года американская студия Lionsgate выпустила на большие экраны фильм «Вышка» — камерный триллер о двух альпинистках, застрявших на верхушке высоченной телерадиомачты, без связи и возможности спуститься вниз. Написал сценарий и поставил фильм британский режиссёр Скотт Манн, который отказался работать в павильонах с цифровыми задниками и велел построить декорации в горах калифорнийской пустыни Мохаве. Несмотря на ливни, шквальный ветер и нашествия красных огненных муравьёв, съёмки благополучно подошли к концу. Но не тут-то было. Студийные начальники высчитали, что главные героини в «Вышке» матерятся 36 раз (всё это были актёрские импровизации). А значит, фильму грозил возрастной рейтинг R, согласно которому лицам до 17 лет обязательно сопровождение взрослого. Lionsgate заказала режиссёру пересъёмку, но тот обратился к техкомпании Flawless и за две недели решил проблему с помощью искусственного интеллекта. Специально разработанный софт модифицировал лица актрис так, что их мимика соответствовала переозвученным и цензурированным диалогам. На пресс-конференции, которая прошла через несколько недель после релиза «Вышки», Манн показал оба фрагмента (изначально отснятый, с матом, и отредактированный) — отличить оригинал от копии никто не смог.
Flawless — стартап, который сам Манн и заметил в 2021 году, чтобы в первую очередь решить проблему дубляжа. По мысли режиссёра, когда иностранный фильм переозвучивают местные актёры, в глаза бросается рассинхронизация между движениями губ героя и закадровым голосом. И программа, построенная на методах машинного обучения, должна была устранить её. «Вышка» стала первым заказом компании (не совсем профильным, но весьма успешным), который наглядно доказал: ИИ, во-первых, помогает продюсерам экономить деньги (традиционно студии-мейджоры изначально включают в бюджет некоторую сумму на пересъёмку), а во-вторых, заметно ускоряет темпы производства.
Омолодить артистов или даже оживить умерших
Разумеется, «Вышка» далеко не единственный пример того, как на постобработке в кино применяется ИИ. С его помощью можно довольно много сделать. Например: технологии ретуширования и детализации дошли до того, что теперь «Прибытие поезда» братьев Люмьер 1895 года можно смотреть в разрешении 4К. Или, скажем, отреставрировать хронику: алгоритмы позволяют дорисовать исходники, снятые в архаичном формате 14 кадров в секунду, до нынешнего стандарта 24 к/с. Благодаря этому на старые архивы теперь можно смотреть как на свежий документальный материал: нечто подобное сделал Питер Джексон в своём документальном фильме «Они никогда не станут старше», где он восстановил хронику Первой мировой войны. Можно также создавать частично или полностью цифровые аватары. С помощью технологии Deepfake студии омолаживают пожилых артистов, как было у Мартина Скорсезе в «Ирландце», и возвращают из небытия умерших, как было у Disney в «Изгое-один». Более того, нейросети позволяют конструировать в кадре виртуальные пейзажи и объекты, причём не только на стадии монтажа, но и прямо на площадке в режиме реального времени.
Просчитать смету по сценарию
ИИ полезен и на пре-продакшене. Например, сервис ScriptBook анализирует истории с учётом возрастного рейтинга, а также проверяет их по тесту Бекдела, то есть исследует фильм с точки зрения гендерной предвзятости — просчитывает количество женских персонажей и оценивает, насколько объёмные у них роли. И даже определяет, какие эмоции может вызвать та или иная сцена. А софт Filmustage изучает сценарий и автоматически рассчитывает, сколько актёров будет задействовано в проекте, какие понадобятся локации, реквизит и визуальные эффекты. Похожий функционал есть и у ИИ-платформы Cinelytic, которая сама составляет расписание и смету — с ней уже даже «запартнёрился» голливудский мейджор Warner Bros. С помощью нейросетей продюсеры могут прогнозировать зрительское поведение, а творческая группа — создавать раскадровки и концепт-арты, пользуясь программами, которые конструируют изображение на основе словесного описания. В Сети полно подобных иллюстраций, представляющих собой безумные кинематографические мэшапы: например, «Звёздные войны», если бы их ставил Уэс Андерсон, или «Человек-паук», если бы его снимал Андрей Тарковский.
Придумать рекламный ролик или телепередачу
Любопытные опыты с ИИ проходят и в сфере драматургии. В 2019 году японский бренд Lexus заказал рекламный ролик для своей новой модели авто, и сценарий к ней написал искусственный интеллект IBM Watson (воплотил задумку оскароносный режиссёр Кевин Макдональд). А на российском ТВ сейчас запускается первый в мире сериал, написанный нейросетью A.I. TV Script Generator. Программа, изучив сценарии хитовых телешоу канала СТС, выдала историю о семье Сидоровых, члены которой по ходу действия осознают, что являются персонажами ситкома. Проект СТС — очередное напоминание, что алгоритмы обучаются на уже созданных произведениях, а значит, не способны выдать оригинальный продукт. Даже минутная реклама Lexus потребовала сценарной доработки, при том что ролик довольно бессюжетный. «Нейрофильмы» не будущее индустрии, а лишь отдельный вид курьёза типа VR-контента и интерактивного кино. Поэтому ИИ, вопреки луддистским толкам, не смерть тем или иным профессиям, а лишь вспомогательный инструмент, который предполагает активную вовлечённость «естественного» интеллекта.
Как ИИ возвращает умерших актеров к жизни
Прорыв в ИИ-технологиях повлиял на все сферы человеческой жизни, и кинематограф — не исключение. Продолжающаяся забастовка голливудских актеров и сценаристов привлекла дополнительное внимание к этой теме, т.к. среди требований бастующих — отказ от использования ИИ при производстве фильмов. Но масла в огонь подлила еще одна новость: легендарного актера Джеймса Дина «воскресят» для роли в грядущем блокбастере Back to Eden.
Конечно, это не первый случай, когда погибший актер возвращается к жизни на большом экране при помощи магии технологий. Кэрри Фишер, Гарольд Рамис и Пол Уокер сыграли в фильмах уже после собственной смерти. Даже сам Дин возвращается не впервые: в 2019 году цифровая копия актера должна была сыграть в отмененном проекте Finding Jack. Но на этот раз все будет немного иначе. По словам компании WorldwideXR, занимающейся иммерсивными технологиями, цифровой Джеймс Дин не только сыграет в фильме. Он сможет взаимодействовать с аудиторией на интерактивных платформах, в том числе дополненной и виртуальной реальности. Речь идет уже не о простой реконструкции образа актера: речь о самом настоящем бессмертии, которое позволит селебрити продолжать карьеру даже после гибели.
Образ Джеймс Дина — один из сотен, принадлежащих WXR и ее сестринской лицензионной компании CMG Worldwide. Дин ушел из жизни в 1955 году в возрасте всего 24 лет, но оставил после себя большую коллекцию референс-материалов — фильмов. WXR отсканировала бесчисленное множество изображений актера, повысила их разрешение и отдала в обработку экспертам по цифровой графике. После этого к картинке добавили ИИ, аудио и видео — и внезапно материалы стали базой для полноценной цифровой копии актера, которая выглядит, звучит, двигает и даже отвечает на вопросы так же, как Дин. Причем WXR добилась этого результата без т.н. цифрового следа, который оставляют современные селебрити: селфи, посты в социальных медиа, текстовые сообщения, электронные письма и многое другое. Подобная информация также предоставляет много материала, который потенциально можно использовать для создания цифровой копии. Не зря ведь сейчас существуют фирмы, которые предлагают людям загрузить информацию об умерших близких и взамен получить виртуального бота.
Тем не менее, и актеры, и продюсеры сходятся во мнении, что использование ИИ-технологий в кино нуждается в разработке нового законодательства для защиты прав мертвых. Причем как знаменитых, так и обычных людей.
Источник:и