31 августа 2021 года, Варшава — Компания OPPO, один из ведущих мировых брендов по производству смартфонов и умных устройств, сегодня провела онлайн презентацию, на которой рассказала про свои достижения в области вычислительной фотографии, а также продемонстрировала их применение в новой серии Reno6.

OPPO является лидером отрасли благодаря многолетним инвестициям в искусственный интеллект, вычислительную фотографию и другие сопутствующие технологии. Одна из таких инвестиций — база данных портретного видео с более чем 10 миллионами данных с разными людьми и в разных ситуациях, что потребовало обучения алгоритма распознавания десятки тысяч раз. Дальнейшие новшества в вычислительной фотографии теперь были воплощены в жизнь с помощью нового режима портретного видео Boke Flare в последней серии Reno6. Таким образом, серия Reno6 — первая серия смартфонов, в которой достигается кинематографическое боке с использованием методов вычислительной фотографии.

Кинематографическое портретное видео Boke Flare в серии Reno6

Ранее пользователям требовалось профессиональное оборудование, квалифицированная команда и хорошо продуманный план для достижения кинематографического эффекта боке. Даже при всем этом все равно был необходим опытный редактор для финальной обработки видео.  Режим портретного видео Bokeh Flare в серии Reno6 позволяет снимать видео боке на профессиональном уровне всего одним нажатием кнопки. Но как достигается этот эффект на таком маленьком устройстве? Ответ заключается во взаимодействие между семантическим восприятием и оптимизацией на уровне пикселей.

Идеальный контраст между объектом и фоном на 360 градусов

Серия Reno6 в режиме портретного видео BokehFlare использует глубокое обучение для проведения семантического восприятия видео по кадрам, чтобы точно различить объекты и фон. Также система выполняет точную сегментацию людей на 360 градусов в режиме реального времени.

Оптимизация на уровне пикселей обеспечивает кинематографические боке

После сегментации параллельно выполняется рендеринг и оптимизация на уровне пикселей для предметных и фоновых изображений. Специальная обработка цвета и яркости основного объекта выполняется на уровне пикселей и гарантирует минимальное вмешательство в обработку фона, сохраняя исходный цвет изображения даже при повышении яркости. В то же время технологии компьютерного зрения используются для выполнения ИИ-размытия, а также корректировки цвета и насыщенности световых пятен на заднем фоне, создавая фон в том самом портретном стиле, который подчеркивает объект.

Десятки тысяч данных искусственного интеллекта берутся из изображений, снятых с разных фокусных расстояний с помощью зеркальных камер. Это позволило серии Reno6 максимально приблизиться к эффекту боке, который достигается с помощью объектива камеры с большой диафрагмой. Вместо того, чтобы имитировать эффект боке с помощью простых фильтров, OPPO использует семантическое восприятие реальных источников фонового света и оптимизацию компьютерного зрения на уровне пикселей для определения размера, яркости и ореола боке. Во время видеосъемки размер и яркость бликов будет меняться в зависимости от движения камеры и последующего изменения глубины резкости.

Предварительный просмотр изображений со сложной обработкой в реальном времени

В дополнение к технологиям глубокого обучения и компьютерного зрения, применяемым к каждому кадру, видеообработка также должна учитывать стабильность и совместимость кадров, чтобы видео получилось плавным. Предварительный просмотр видео в реальном времени предполагает значительное увеличение требований к производительности смартфона, в том числе к мгновенной вычислительной мощности и энергоемкости.

Все процессы, связанные с портретным видео Boke Flare, включая определение объекта, цветоотделение, повышение уровня яркости, сохранение цвета, размытие фона, обработку боке, адресные улучшения на уровне пикселей и многое другое, могут быть выполнены всего за 10 мс. Такая скорость гарантирует, что пользователи увидят, как кинематографический эффект боке применяется во время записи.

Яркое, высококачественное видео на основе искусственного интеллекта

Функция для улучшения видео с искусственным интеллектом, AI Highlight Video, также была обновлена для серии Reno6. При съемке в условиях низкой освещенности, например ночью, обновленная функция AI Highlight Video улучшает четкость изображения до 40,2% по сравнению с Reno5 Pro. Цвет и яркость также были усовершенствованы, что привело к значительному повышению общего качества изображения. Независимо от того в какое время суток происходит видеосъемка, AI Highlight Video помогает делать более четкие и яркие портретные видео без дополнительного освещения.

Ведущий в отрасли подход к исследованиям и разработкам в области фото и видеосъемки

Применение OPPO вычислительной фотографии уходит корнями в далекое прошлое. Еще в 2014 году OPPO представила мультисъемку Ultra-HD на смартфоне Find 7, используя вычислительную фотографию для создания системы камер, способной делать 50-мегапиксельные фотографии. Теперь, после многих лет инноваций и технологического развития, исследование OPPO в области вычислительной фотографии привели к большим успехам в фото и видеосъемкам со смартфонов.

С момента появления режима стабилизации видео Ultra-Steady в серии Reno2 в 2019 году работа OPPO в области вычислительной фотографии постепенно распространилась на видеосъемку. Разработка новых функций видеосъемки стала основополагающим для серии Reno. Новым серьезным этапом развития стало появление портретного режима AI Color в серии Reno4, первого творческого режима видеосъемки, основанного на вычислительной фотографии. Затем в серии Reno5, компанией была создана функция AI Highlight Video, с помощью которой каждый мог снимать четкие видео даже в самых сложных условиях освещения.

Следующий этап: Новые возможности видеосъемки — это новый стандарт для смартфонов

Вместе с партнерами OPPO продолжает изучать новые возможности и передовые решения в области вычислительной фотографии посредством углубленных исследований. OPPO считает, что потребители ценят способность компании применять передовые технологии, чтобы улучшить пользовательский опыт.

OPPO считает, что, когда дело доходит до фото и видеосъемки со смартфонов: аппаратное обеспечение может гарантировать нижние пределы качества изображения, но верхние пределы могут быть достигнуты только благодаря передовым алгоритмам. По мере того, как отрасль развивается в сторону большей мобильности и более совершенным технологиям, вычислительная фотография заменит сложное и громоздкое оборудование. OPPO продолжает углублять интеграцию вычислительной фотографии в свои продукты. Серия Reno призвана предоставить пользователям более легкий и удобный опыт фото и видеосъемки, который поможет превратить фотографов-любителей в профессионалов.

Видеоматериалы доступны по ссылке.

###

О компании OPPO

OPPO — один из ведущих мировых брендов по производству смартфонов. С момента выпуска своего первого мобильного телефона в 2008 году компания OPPO стремится создавать технологии с душой. Продукты OPPO сочетают в себе передовые технологические возможности, простоту использования, функциональность и современный дизайн. В настоящее время компания OPPO работает более чем в 40 странах мира, имеет шесть научно-исследовательских институтов, пять центров исследований и разработок и международный центр дизайна в Лондоне. OPPO стремится поддерживать развитие стандарта 5G во всем мире и стала первой компанией, представившей коммерческий 5G смартфон на европейском рынке. Бренд сотрудничает с более чем 50 ведущими мировыми операторами, чтобы ускорить масштабирование и развертывание 5G благодаря инновационным технологическим решениям.

Для более подробной информации, пожалуйста, посетите официальный веб-сайт OPPO: www.oppo.com/ru, и подписывайтесь на нас в социальных сетях: OPPO Россия VK, Facebook, Instagram.

Контакты для СМИ:

Казаков Фёдор
FKazakov@inter-galactic.xyz
+79997194086

Евгения Клакоцкая
EvgenyaKlak@inter-galactic.xyz
+79647122190