Искусственный интеллект меняет различные отрасли, одной из таких является фотография. Если вы хотите запечатлеть момент, вы можете щелкнуть его на специальной камере, такой как цифровая зеркальная или беззеркальная камера, или вы можете использовать камеру своего мобильного телефона. Профессиональный фотограф всегда выберет специальную камеру, однако большинство выберет свои смартфоны. Если сравнивать начинку камеры и смартфона, камера выйдет на первое место. Но когда дело доходит до простого наведения камеры на объект и съемки, смартфон выигрывает, если не учитывать постобработку изображения, снятого камерой. Это происходит потому, что смартфоны используют AI и ML для пост-обработки фотографии сразу после ее съемки благодаря быстрым процессорам, которые у нас есть в наши дни.
То, как каждый бренд смартфонов использует ИИ, можно увидеть по их производительности, например, старый 12-мегапиксельный телефон Pixel создает более качественные изображения, чем некоторые 50–80-мегапиксельные телефоны китайских брендов. Однако со временем обновляется и аппаратная часть.
На этом изображении мы видим, что размер модуля камеры для профессиональных моделей Apple увеличивается с каждым годом. Хотя сенсоры всегда можно увеличить, а линзы всегда можно сделать быстрее, мы уже расширяем физические границы физики, когда дело доходит до установки оптических систем на небольшие мобильные устройства (вот почему камера дергается). Тем не менее, в наши дни телефоны обычно делают снимки лучше, чем многие специализированные камеры в различных сценариях, по крайней мере, до постобработки.
Самые удивительные недавние разработки в области фотографии произошли на уровне программного обеспечения и кремния, а не на уровне сенсора или объектива, и это отчасти связано с тем, что ИИ дает камерам больше знаний о том, на что они смотрят. Давайте посмотрим, какие изменения принес ИИ. в мир фотографии.
Интеллектуальное управление фотографиями
Когда приложение было выпущено в 2015 году, Google Фото был убедительным примером того, насколько мощным может быть сочетание ИИ и фотографии. Гигант поисковых систем использовал машинное обучение для идентификации фотографий в Google+ в течение многих лет до этого, но когда он выпустил свое приложение «Фотографии», оно включило функции искусственного интеллекта, ориентированные на потребителя, о которых большинство людей не могли себе представить. За одну ночь тысячи фотографий без тегов из неорганизованных библиотек пользователей были преобразованы в доступные для поиска базы данных. Оно могло идентифицировать лица и группировать фотографии одних и тех же людей вместе, далее приложение начало идентифицировать закат/восход солнца и фотографии еды. Распознавание лиц для управления фотографиями работало отлично, но Facebook использовал распознавание лиц до 2015 года для автоматической пометки людей на фотографиях.
Автоматическое определение лица, глаз и конечностей
Автоматическое обнаружение глаз и обнаружение фактов впервые были использованы Sony в их альфа-серии камер. Основная идея заключалась в том, чтобы обнаружить глаза на экране и сфокусироваться на нем. Это изменило видеосъемку, и до сих пор ни одному другому бренду не удалось превзойти динамическое обнаружение глаз Sony, которое очень удобно в спортивной фотографии. В смартфоне камера может автоматически определять лицо и фокусироваться на нем, более того, немногие смартфоны имеют функцию распознавания конечностей, например, показать ладонь, чтобы запустить таймер. Все это возможно благодаря ИИ, и чем больше данных будет доступно, тем лучше будет со временем.
Боке режим
ИИ в фотографии — это новая область исследований как с точки зрения программного, так и аппаратного обеспечения. Современные технологии обработки изображений компенсируют то, на что объективы не способны. Они обеспечивают результаты, превосходящие ожидания. Большие камеры со съемными объективами могут иметь переменную апертуру, чего нельзя сказать о смартфонах. Переменная диафрагма приводит к эффекту малой глубины резкости, то есть объект будет в фокусе, а все остальное будет размыто.
Это желанный фотоэффект для многих, но только в середине 2010-х он был доступен лишь немногим с профессиональной камерой. Позже гугл анонсировал свой пиксельный смартфон и вместе с ним запустили портретный режим, многие другие смартфоны его тоже подхватили, но все же гугл делает это лучше всех. Google является пионером в области вычислительной фотографии. Это стало возможным благодаря многолетним данным, доступным для Google, а модель так же хороша, как и данные и разработанные на ней функции. Google использовал данные, собранные годами, чтобы произвести революцию в области фотографии с помощью смартфонов. Дальнейшие исследования и достижения все еще проводятся в областях с искусственной малой глубиной резкости, с выпуском iPhone 14 Apple впервые применила размытие переднего плана в портретном режиме.
Это было сделано с помощью комбинации искусственного интеллекта и оборудования (с использованием выделенных процессоров для фотографий).
Фотосъемка при слабом освещении
Съемка фотографий при слабом освещении всегда была утомительной задачей, камера в основном улавливает свет, но при слабом освещении она начинает работать хуже. Профессионалы обычно увеличивают время затвора, чтобы на матрицу попадало нужное количество света, но для такого метода требуется штатив, чтобы удерживать камеру на месте. Эта проблема исправлена в смартфонах с использованием ИИ, и снова Google первой внедрила ночной режим в своих пиксельных телефонах.
После прочтения всего этого у вас должен возникнуть один вопрос: почему бы не использовать процессоры смартфонов в традиционных камерах, чтобы они могли использовать искусственный интеллект и стать лучше. У разных людей могут быть разные взгляды, и это мое мнение по этому вопросу.
- Процессоры смартфонов пропускают кадры при длительном использовании на солнце, это связано с тем, что телефон сильно нагревается. И профессиональный фотограф не может так рисковать.
- Процессоры смартфонов разряжают аккумулятор при длительном использовании камеры, что нежелательно для профессиональных фотографов.
- Камеры и смартфоны предназначены для разных аудиторий. Камеру смартфона можно использовать, чтобы просто наводить и снимать, не задумываясь о настройках, потому что мы знаем, что ИИ позаботится об этом, в то время как профессиональная камера требует обдумывания настроек, а фотограф может свободно применять свои собственные правки. Современные камеры используют искусственный интеллект (например, обнаружение эффекта красных глаз), но не на экстремальном уровне, как в смартфонах.
Это не исчерпывающий список, искусственный интеллект влияет на мобильную фотографию и другими способами. Теперь мы можем видеть, что многие смартфоны делают лица на изображениях ярче и увеличивают контрастность, чтобы трава выглядела зеленее, а небо — более голубым. Теперь большой вопрос заключается в том, как он узнает, какое редактирование необходимо применить к пикселям.
Как все это работает?
Анализ изображения и распознавание объектов на нем включают сложные вычислительные операции с использованием глубоких нейронных сетей, которые обучаются на размеченных наборах данных, где и входом, и выходом являются изображения. Выходные изображения в основном представляют собой отредактированные версии фактического изображения, снятого камерой. Как только модель готова, ее можно использовать на невидимых изображениях для их искусственной постобработки без какого-либо вмешательства человека. Эти модели глубоких нейронных сетей могут превосходить возможности традиционных процессоров. Таким образом, чтобы удовлетворить эти нейронные процессоры, встроенные в процессоры смартфонов, они действуют как концентратор, который обеспечивает мощную производительность, необходимую для интеллектуальных камер. Помимо обработки задач машинного обучения, NPU также снижают энергопотребление и обеспечивают более высокую производительность и эффективность для обработки ИИ.
Заключение.
ИИ внесет дальнейшие изменения в мир фотографии. Компьютерная фотография будет становиться лучше с каждым годом. Текущие исследования включают улучшенный ночной режим, добавление цветов к черно-белым фотографиям и т. д. Улучшение изображения после масштабирования — еще одна область, которая определенно станет лучше в ближайшие годы. Все, чего нельзя было достичь из-за ограничений объективов в камере смартфона, можно было достичь с помощью ИИ.
Ссылки:
https://tweaklibrary.com/artificial-intelligence-in-photography/
https://semiconductor.samsung.com/insights/topic/ai/ai-camera/
https://techinspection.net/how-does-the-ai-camera-work-in-mobile/
