Сам себе сценарист: зачем казанскому киностартапу 16 миллионов

Как развивается интерактивное кино: от кнопки до биосенсоров

Интерактивное кино позволяет зрителям не только смотреть фильм, но и принимать в нем активное участие. Первое интерактивное кино под названием «Человек и его дом» показали в Чехии в 1967 году. В определенный момент на сцену выходили мужчина и женщина и в шутливой форме задавали зрителям вопрос, куда сюжет будет двигаться дальше. В кресла зрителей в кинозале были вмонтированы две кнопки, нажимая на которые, они голосовали за вариант развития сцены. Об этом нам рассказывает Александра Валиева, развивающая новый технологичный стартап в Казани.

— Интерактивность органична нашему восприятию. Сама жизнь — это череда выборов. Неслучившиеся варианты событий тенью присутствуют в нашем сознании. Даже сценарист, описывая похождения героя, зачастую держит в голове несколько вариантов развития событий. Это бесконечно ветвящаяся история, ограниченная только бюджетом, — объясняет наша собеседница. — Но совсем не обязательно каждый раз снимать принципиально разные истории. Потому что можно внутри одной сцены, не сильно раздувая бюджет, в рамках одной локации снимать разные исходы — жестче, мягче, с юмором...

Одним из сравнительно недавних и, по отзывам критиков, удачных опытов интерактивного кино можно считать фильм от медиагиганта Netflix «Брандашмыг» (его, кстати, позиционируют как полнометражную версию сериала «Черное зеркало»). В «Брандашмыге» зрители принимают решения за основного персонажа, выбирая из двух предложенных вариантов. А чтобы сделать выбор, понадобятся компьютерная мышка или трекпад.

— Это интерактивное кино, но с рациональным выбором, когда нужно нажать на кнопку, — комментирует Александра Валиева. — Интересно, что недавно Netflix поддержали и стартап-приложение, в котором зрители в чате голосуют за исход события в фильме.

Отвечая на вопрос, зачем нужно интерактивное кино, ведь есть компьютерные игры по типу Detroit: Become human или Fahrenheit, где геймер может влиять практически на каждое действие, Александра объясняет:

— Да, эта индустрия действительно очень близка к видеогеймингу. Финский режиссер и исследователь Пия Тикка говорит о том, что интерактивность в кино очень важна. Но в случае, если она реализуется на основе биометрических данных, снятых со зрителя (биосенсоры вмонтированы в кресла), речь уже идет о нейрокино. Здесь план реализуется не кликом и не кнопкой — идет подстройка под эмоциональное состояние зрителя. Когда нужно кликнуть, как в случае с «Брандашмыгом», это выдирает зрителя из его ощущения и состояния, в котором он пребывает. Если же повествование ведется плавно и без таких скачков, получается, что ничего не нарушает его ощущений от просматриваемого кино. Например, кто-то тяжело реагирует на сцены насилия — биосенсоры это будут считывать, и нейрокино продолжится с более мягким развитием сюжета.

При чем тут квантовая механика

Переходя подробнее к теме нейрокино, Александра рассказывает, что идея проекта «Квантовое кино» возникла у нее, когда она еще училась на физфаке Казанского университета почти 20 лет назад:

— Мы изучали квантовую механику. И меня глубоко зацепила тогда одна из непротиворечивых ее интерпретаций — многомировая интерпретация Эверетта. По ней, Вселенная непрерывно дробится и образует мультивселенную, состоящую из множества вселенных. В то же время, согласно теории нобелевского лауреата по физике Вигнера, в квантовой физике сознание производит наблюдение и таким образом определяет состояние реальности. Значит, сознание в определенном смысле создает реальность! И я решила использовать эту концепцию на уровне метафоры, поэтому и назвала свой проект «Квантовое кино».

В 2018 году в рамках лаборатории Tatcult MediaLab Валиева сделала одноименную инсталляцию. Идея проекта была в том, чтобы измерять психофизиологическое состояние зрителя, пока он смотрел многовариантное кино. Сюжетная линия выбиралась не осознанно (кнопкой или мышкой), а основываясь на эмоциональном отклике. Регистрировали этот отклик с помощью портативного нейроинтерфейса на пять сенсоров, точности которых достаточно для арт-проекта.

— Мы измеряли шесть эмоциональных состояний: вовлеченность, фокус, интерес, расслабление, стресс, возбуждение у зрителей на примере эпизодов различных экранизаций «Алисы в стране чудес», — рассказывает собеседница «Реального времени».

Как она нам объясняет, проект «Квантовое кино» — это новый вид интерактивного кино, в котором применяются современные биофизические методы, регистрирующие психофизиологическое состояние человека. Зритель «подсознательно» выбирает сюжетную линию фильма, а за процессом его выбора можно наблюдать на отдельном мониторе. Таким образом, человек смотрит свое персонифицированное, подстроенное под его эмоциональное состояние «квантовое» кино, собранное на основе сигналов энцефалограммы его собственного мозга.

Нейросеть — всему голова

Именно из этого арт-сайенс проекта и родился стартап. Нейрокино в нем представляется как технология для распознавания неосознаваемых эмоциональных реакций пользователя на предъявляемый медиаконтент.

— В основе лежит нейросеть, которой скормили датасет с большим количеством размеченных данных, снятых со зрителей. Это и позволит создавать адаптивный медиаконтент, — поясняет Александра.

Проект «Квантовое кино» делают в казанском бизнес-инкубаторе IT-парка. Старшим партнером стала московская нейромаркетинговая компания «Нейротренд» — она уже готова предоставить оборудование для реализации казанского стартапа.

— В прошлом году «Нейротренд» выпустил нейробарометр — интерфейс с датчиками, измеряющими сердцебиение, влажность кожных покровов и прочие параметры состояния организма — рассказывает Александра Валиева.

По словам нашей собеседницы, еще до выхода на экраны самых крупнобюджетных российских кинокартин «Нейротренд» тестирует их на фокус-группах. На «подопытных» устанавливают нейроинтерфейс, пульсометры, датчики просвета сосудов, Eye Tracker (технологию, сканирующую движения глаз). Такая комбинация инструментов дает возможность понять, какие эмоции испытывает человек. Представители фокус-групп помещаются в удобные кресла и по возможности не должны шевелиться. Рядом — кабинка оператора, который отслеживает на нескольких мониторов, как меняется реакция респондентов в реальном времени. Эти данные скидываются в программную среду, где нейронная сеть их обрабатывает.

На выходе получается набор измеренных данных, который характеризует то или иное психофизиологическое состояние.

Какие инвестиции потребуются?

Александра Валиева признается, что 2020 год, прошедший под знаком пандемии, значительно затормозил развитие ее стартапа.

— Я искала инвестиции. А проводить массовые фокус-группы все равно было нельзя в условиях самоизоляции. По сути, целый год у нас выпал. Соответственно, я перенесла исследования на этот год, — говорит она.

Наша собеседница до сих пор находится в поиске инвесторов для своего стартапа и пока вкладывает в него личные средства. Ведь, кроме оборудования, которое готова предоставить компания «Нейротренд», нужно закупить сопутствующую аппаратуру, заплатить программистам, есть еще операционные расходы...

— Требуемые инвестиции разбиты на два этапа. На первом нам требуется порядка 1 млн рублей, на втором — около 15 млн. Я пыталась действовать через гранты. Теперь стратегия несколько изменилась, и мы в поисках компании, которая заинтересована в нашем решении и готова вложиться, это мне кажется более разумным, — говорит она. — На первом этапе мы планируем использовать частично готовое программное обеспечение, чтобы проверить нашу гипотезу. На втором этапе планируем уже разработку своего ПО.

В обкатке поучаствовала Зуля Камалова

Разрабатывать стартап «Квантовое кино» планируют с использованием готового контента.

— Скорее всего, мы будем использовать нарезки из разных эпизодов, вызывающих яркие эмоции, — рассказывает разработчица технологии. — Конечно, я бы хотела зайти сразу с двух сторон и работаю над собственным контентом. И даже сделала первые шаги, сняв для Зули Камаловой интерактивный клип «Бишенче», который можно посмотреть и с помощью нейроинтерфейса, и через YouTube, и через приложение казанских разработчиков для просмотра интерактивных фильмов movika. Зритель может выбрать, расстаться молодым людям в финале или быть вместе.

Александра Валиева признается, что для начала хочет сделать «честную технологию, которая бы работала адекватно»:

— Когда мы создавали инсталляцию в 2018 году, стало понятно, что нейроинтерфейс — это такая рандомная машинка. В течение просмотра сюжета у зрителя мы измеряем эмоции, но что ему подкинуть дальше, — это большой вопрос. Но на том этапе нам важно было показать сам принцип: мы видим, какие эмоции человек испытывает. И на этом принципе можно двигаться дальше. Мы увидели интерес к этой истории. Потому что человеку всегда интересно узнавать, как реагирует его мозг.

Наша собеседница называет нейроинтерфейс довольно несовершенной технологией и говорит, что создатели стартапа не планируют ее использовать для массового применения:

— Я хочу использовать нейроинтерфейс только на период работы с фокус-группами и создания алгоритма. А дальше должна остаться только камера, которая считывает микромимику и движения глаз, чтобы технологию можно было использовать повсеместно. Мне было бы интересно внедрять нашу разработку в кино, потому что эта индустрия мне близка — я работала в Москве в кино, а сейчас снимаю научные фильмы и ролики. Так что предпочитаю думать в этом направлении. Но есть и соседние индустрии — видеогейминг, киберспорт, онлайн-образование, в которых можно найти массу применений технологии для адаптивного контента. Так что у этой технологии очень много потенциальных возможностей с подстройкой под эмоциональное состояние, — подчеркивает она. — Мы думаем и над различными терапевтическими эффектами, но в медицину пока сразу не стоит лезть. Тем более с помощью современного нейроинтерфейса, как выяснилось, даже нельзя диагностировать депрессию...

Бекмамбетов готов тестировать нейрокино, но есть условие

Сделать технологию обыденной и открытой, чтобы режиссеры экспериментировали с этим форматом — такова масштабная цель Александры Валиевой.

— Я связывалась с режиссером и сценаристом Александром Коттом. Он готов давать обратную связь, но выразил скептицизм по поводу такой интерактивности. Он сказал, что кино — это все же придуманная режиссером история, — говорит она. — Для него это пока такой трюк, игра, чтобы посмотреть один раз — и все.

Совсем другого мнения придерживается режиссер Тимур Бекмамбетов, открытый к различным экспериментам и частенько бывающий в Казани (он женат на Наталии Фишман, помощнику президента Татарстана, — прим. ред.).

— Тимур Бекмамбетов сказал, что готов тестировать нашу разработку. Он дал согласие, чтобы обкатывать нашу технологию. Ему как раз интересно вплести эту технологию в свой новый формат Screenlife. Он сказал: если мы сделаем так, чтобы реакцию можно было считывать лишь с помощью камеры и айтрекера, тогда он с удовольствием готов будет тестировать и интегрировать ее, давать обратную связь. Но он тоже говорит, что не хочет связываться с нейроинтерфейсом, потому что это не массовый продукт. Как я уже сказала, я и сама его применяю на текущем этапе только для того, чтобы собрать честный датасет. И найти корреляцию между тем, как идет распознание эмоций при помощи нейроинтерфейсов и без их использования только с камерами, есть ли совпадение и насколько точно наша технология будет действовать.

«Адаптивный контент — это наше очевидное будущее»

По словам собеседницы «Реального времени», адаптивный контент — это наше очевидное будущее в цифровой среде.

— Последние исследования показывают, что мы принимаем решения эмоционально, а не рационально. Поэтому технология, которая позволит делать выбор на основе текущего эмоционального состояния, имеет большие шансы на повсеместное внедрение не только в кино. Все больше появляется датчиков для измерения своего состояния, которые интегрированы в часы, мобильный телефон. Люди все чаще следят за своими данными: как меняется их сердцебиение в течение дня, как они дышат, спят, — перечисляет она. — Нейрокино — область развлечения. И почему бы не посмотреть то, что соответствует твоему эмоциональному состоянию прямо сейчас? Каждый день в таком случае можно смотреть разное кино. Вроде бы одни и те же актеры, но каждый раз могут возникать разные вариации.

Автор стартапа признает, что поначалу новое всегда бывает непонятным, экспериментальным.

— Но сам механизм адаптивности и то, что можно сделать контент плавным продолжением твоего эмоционального состояния, может быть, в чем-то даже терапевтическим — очень привлекательный момент! — резюмирует она.