Вы были поражены изображениями.
Видеть их в движении поразит вас.
С Pikazo нам очень повезло, что мы помогли тысячам людей вдохнуть жизнь в искусство, которое они всегда могли себе представить, но никогда раньше не могли создать.
Но какое-то искусство хочет быть живым.
Хотя мы всегда восхищались картинами, все любители искусства мечтали жить внутри картины - как бы выглядел мир, если бы все было нарисовано мазками?
Многие из наших первых последователей - кинематографисты и аниматоры, и мы вызвали большой интерес от них в понимании того, как Pikazo может стать частью рабочего процесса с видео. Нам тоже очень интересно.
Мечта о сновидении.
Нейронная сеть, на которой работает движок создания изображений Pikazo, не совсем подходит для видео, потому что процесс рендеринга настолько (восхитительно) непредсказуем. Но наш руководитель отдела исследований и разработок Карл Штифватер упорно трудился, чтобы это исправить.
Подложите подушку под челюсть.
Впервые вы увидите, как выглядит мир с другой стороны картины.
Карл поделился этими заметками о технологии:
Видео - очевидное применение нейронного стиля рендеринга.
Наивный подход состоит в том, чтобы визуализировать каждый кадр с нуля, независимо от кадров до и после него. Поскольку алгоритм нейронного стиля хаотичен, небольшие изменения на входе вызывают резкие изменения на выходе, в результате чего соседние кадры имеют небольшую визуальную согласованность. Такое хаотичное видео иногда называют «зашумленным» и часто нежелательным.
Мы предлагаем решение для обеспечения визуальной согласованности и уменьшения «межкадрового шума»:
1. При запуске процесса конвергенции нейронного стиля - используйте пользовательское изображение «инициализации» в качестве начального состояния поиска. Это «начальное изображение» будет создано из предыдущего кадра, чтобы повлиять на сходимость на подобном (связном) изображении.
2. В случаях, когда структуры перемещаются от кадра к кадру, используйте оптический поток для измерения движения пикселей в нижележащем видео. Используйте это движение, чтобы деформировать предыдущий кадр для использования в качестве исходного изображения при схождении. Эта техника была эффективно использована для создания живописного облика фильма «К чему снятся мечты».
3. Используйте сочетание деформированного изображения и нижележащего изображения в качестве параметрического контроля «межкадрового согласования».
Видео-тест алгоритма нейронного стиля Pikazo. Различные значения параметров для когерентности, смазывания и кипения. Проверка оптического потока.
Исходный ролик - классический Визит к Пикассо (1949). Музыка - Краски от Adult Fur.
Вы можете увидеть больше замечательных произведений искусства, которыми поделились тысячи художников Pikazo, в нашей группе пользователей Pikazo Salon. И ждите нашего релиза для Android позже на этой неделе!
