iPhone менеджер продуктовой линейки Франческа Свит и вице-президент Apple по разработке программного обеспечения для камер Джон МакКормак дали новое интервью изданию PetaPixel, рассказав о подходе Apple к разработке и проектированию камер. Важно отметить, что руководители объяснили, что Apple рассматривает технологии камер как единое целое, объединяющее аппаратное и программное обеспечение.

Интервью показывает, что главная цель Apple в области смартфонографии — позволить пользователям «оставаться в моменте, сделать отличный снимок и вернуться к своим делам», не отвлекаясь на технологии, стоящие за этим.

МакКормак пояснил, что в то время как профессиональные фотографы проходят процесс тонкой настройки и редактирования своих фотографий, Apple стремится упростить этот процесс до одного действия — захвата кадра.

«Мы максимально воспроизводим то, что фотограф сделает после съемки», — сказал МакКормак. «Есть две стороны создания фотографии: экспозиция и то, как вы ее обрабатываете впоследствии. Мы используем много вычислительной фотографии для экспозиции, но все больше и больше — для постобработки, делая это автоматически для вас. Цель этого — создавать фотографии, которые выглядят более реалистично, воспроизводя то, каково это было на самом деле».

Он продолжил описывать, как Apple использует машинное обучение для разделения сцен на естественные части для вычислительной обработки изображений.

«Задний план, передний план, глаза, губы, волосы, кожа, одежда, небо. Мы обрабатываем все это независимо, как вы бы сделали в Lightroom с множеством локальных настроек», — продолжил МакКормак. «Мы настраиваем все — экспозицию, контрастность, насыщенность — и объединяем все это вместе… Мы понимаем, как выглядит еда, и можем оптимизировать цвет и насыщенность соответствующим образом, чтобы быть более точными.

Небо, как известно, трудно получить правильно, а Smart HDR 3 позволяет нам сегментировать небо и обрабатывать его полностью независимо, а затем снова смешивать его, чтобы более точно воссоздать то, как это было на самом деле».

МакКормак объяснил, почему Apple решила включить возможность записи видео в формате Dolby Vision HDR в линейку ‌iPhone‌ 12.

«Apple хочет распутать сложную индустрию HDR, и они делают это, предоставляя действительно отличные инструменты для создания контента. Это переход от производства HDR-видео, которое было нишевым и сложным, потому что требовались гигантские дорогие камеры и видеостудия для его создания, к тому, что теперь моя 15-летняя дочь может создавать полноценное видео в формате Dolby Vision HDR. Таким образом, будет гораздо больше контента Dolby Vision. В интересах индустрии сейчас развивать большую поддержку».

Руководители также обсудили улучшения аппаратного обеспечения камер ‌iPhone‌ 12 и ‌iPhone‌ 12 Pro, отметив, что «новая широкоугольная камера и улучшенные алгоритмы слияния изображений обеспечивают меньший шум и лучшую детализацию». Конкретные улучшения камеры iPhone 12 Pro Max также вызвали интерес:

«С Pro Max мы можем расширить это еще дальше, потому что более крупный датчик позволяет нам захватывать больше света за меньшее время, что обеспечивает лучшее замораживание движения ночью».

На вопрос, почему Apple решила увеличить размер сенсора только сейчас с ‌iPhone 12 Pro Max‌, МакКормак раскрыл точку зрения Apple:

«Для нас больше не так важно говорить об одной конкретной скорости и характеристиках изображения или системы камер», — сказал он. «При создании системы камер мы учитываем все эти вещи, а затем думаем обо всем, что мы можем сделать с точки зрения программного обеспечения… Конечно, вы можете выбрать больший сенсор, у которого есть проблемы с форм-фактором, или вы можете посмотреть на это как на всю систему и спросить, есть ли другие способы достичь этого. Мы думаем о цели, и цель — не иметь больший сенсор, которым мы можем похвастаться. Цель — спросить, как мы можем делать более красивые фотографии в большем количестве условий, в которых находятся люди. Именно это мышление привело к появлению Deep Fusion, ночного режима и темповой обработки сигналов изображения».

Прочитайте полное интервью со Свит и МакКормаком на PetaPixel.