Перспективные форматы видео. Новое направление

Марк Бакстон, директор направления Intel® Media Development Products

Основная идея 

• Корпорация Intel входит в число основателей Alliance for Open Media.
• HEVC — формат нового поколения, используемый в средствах массовой информации, телевидении и для вещания видео. При создании этого формата учитываются планы Intel на разработку микропроцессоров, программ и инструментов.
• Открытые форматы способны открыть новую страницу в повышении эффективности кодирования лицензированных международных стандартов. Для достижения этой цели требуются дополнительные усилия.
• Присоединяйтесь.

На прошлой неделе корпорация Intel объявила о своем участии в организации Alliance for Open Media. Этим шагом мы подчеркиваем поддержку открытых форматов и направляем наши усилия на создание нового поколения средств кодирования видео. Консорциум Alliance for Open Media, в состав которого входят корпорации Amazon, Cisco, Google, Intel, Microsoft, Mozilla и Netflix, создан с целью совместной разработки нового поколения форматов видео, позволяющих снизить стоимость доставки видео для конечных пользователей путем оптимизации для процессоров нового поколения.

Видео является крайне важным направлением для бизнеса Intel. Нашим клиентам постоянно приходится повышать качество кодирования видео, прием для самых разных причин — от проблем инфраструктуры для следующих 100 млн смартфонов в Индии до трудности передачи видеоизображения формата 4K BT.2020 по стандартным кабельным системам. Нам необходимы технологии, такие как HEVC, для реализации возможностей нового поколения, и развитие должно двигаться непрерывно.

Чтобы лучше понять новейшую историю форматов, применяемых для видеовещания, давайте вспомним, что такое видеовещаниена самом деле. За последние 20 лет вещание видео прошло путь от фиксированных каналов к мультиплексам каналов и пакетным видеопотокам (которые зачастую передаются по многоуровневым сетям). Все эти модели существуют сейчас одновременно. В двух последних моделях изначально применялось масштабируемое видео, а сейчас на некоторых рынках применяется кодирование в реальном времени близко к периметру сети (например, для адаптации к условиям каналов или возможностям клиентских устройств). Для всех этих моделей кодирования требуются разные уровни качества и разные алгоритмы, позволяющие сбалансировать скорость потока данных и качество видео.  

В дополнение к этой «последней миле» вещания кодирование происходит при съемке видео, его передаче и монтаже. Стремление добиться по возможности высокого качества видео не является краткосрочной проблемой: постоянно увеличивается разрешение экранов, их яркость и контрастность. При этом увеличение разрешения и глубины цвета обычно связано с необходимостью сжатия. Переход на новые форматы, такие как HEVC, позволяет обходить узкие места в сетях и системах хранения данных и дает возможность создавать и передавать зрителям высококачественное вещательное видео.

Переходим к закону Мураи циклу создания микропроцессоров. Вычислительная сложность (см. рис. 1) наших форматов видео чудесным образом сохраняется на стабильном уровне при переходе от поколения к поколению. Но это получилось, по сути, случайно: формат HEVC устроен намного сложнее по сравнению с AVC, но в нем дает некоторый эффект оптимизация алгоритмов. 

За время, прошедшее между двумя последними ступенями форматов кодирования видео (AVC->HEVC), значительно выросло количество процессорных ядер, доступное при одинаковой цене. В последнем семействе процессоров Intel® Xeon® E5 содержится до 18 ядер на одно устройство (а при появлении AVC в 2003 году процессоры Intel Xeon были одноядерными). В «плотности» кодирования видео был дополнительный скачок при появлении семейства процессоров Intel® Xeon® E3 и аппаратных компонентов кодирования видео, способных обеспечить необходимое для вещания качество. Развитием аппаратных ускорителей и программных решений, используемых в клиентских процессорах, стали аппаратные блоки Intel® Quick Sync Video, доступные через Intel® Media Server Studio. При их использовании скорость перекодирования увеличивается в 3 раза при более высоком качестве, если сравнивать процессоры Intel® Core™ i7-5850, использующие QSV, с такими же процессорами, использующими программную реализацию x264**.   И наша корпорация, и наши клиенты из отраслей СМИ и вещания используют все больше форматов — от устаревших MPEG-2, которые применяются для традиционных телеприставок, до предыдущего поколения AVC и новейших VP9 и HEVC для последнего поколения ТВ, планшетов, телефонов и развлекательных устройств.

_{Рисунок 1. * Процессор Intel® Core™ i7-4770: сравнение производительности и качества для двух семейств видеокодеков}                  

Получается, что раньше на кодирование расходовалось больше всего ресурсов в экосистеме. Но существенные улучшения в области кодирования могут способствовать и изменению бизнес-моделей. Наиболее очевидное преимущество состоит в том, что наши клиенты смогут воспользоваться удешевлением кодирования, повысить эффективность и кодировать больше материалов.

• Можно кодировать видео на границе сети.
• Можно кодировать несколько потоков с разной скоростью данных и с разными разрешениями на приближенном к передаче этапе, чтобы получить более широкие возможности адаптации к пропускной способности каналов.
• В конечном итоге становится возможным оптимизировать кодирование для каждого канала и каждого типа экрана.  
• Становятся доступными новые модели использования и получения прибыли, например использование видео в рекламе на веб-каналах. 
• Благодаря недорогому кодированию можно снизить объем требуемого места в хранилищах.
• Для HEVC требуются менее скоростные каналы Wi-Fi, поэтому можно использовать более дешевые датчики.
• Можно сжимать новые типы данных, например карты глубины.   

Итак, кодируется много всевозможных материалов, но во множестве этих моделей немало операций кодирования расходуется впустую, немало потоков данных никогда не доходит до потребителя.

В чем же заключается проблема?

Наши клиенты сталкиваются с ограничениями из-за тарифов, взимаемых третьими сторонами. Во многих этих бизнес-моделях, опирающихся на широкое распространение кодирования, не учитываются особенности тарифов для разных типов данных, а также расходы на каналы передачи данных между кодирующей и декодирующей сторонами. Причина проста:  очень непросто оценить количество пользователей того или иного кодека (поскольку типы могут определяться и каналом, и пользователем); непросто узнать, сколько операций кодирования было использовано (из-за использования сторонних услуг или при получении данных от поставщиков без анализа); трудно понять, как соотнести такую структуру с многоуровневыми лицензионными требованиями со своей бизнес-моделью.

Наши клиенты из числа вещательных компаний не внедряют у себя HEVC с той же быстротой, как кодеки предыдущего поколения (AVC).  И причина этому — неопределенность, связанная с тарификацией.  Поскольку задача бизнеса Intel — внедрение новых технологий и предоставление высококачественного видео каждому потребителю, мы рассматриваем все препятствия на пути распространения HEVC как проблему, требующую решения.  Наиболее очевидное для нас решение этой проблемы — стремиться к тому, чтобы видеоформаты нового поколения были:

• взаимосовместимыми и открытыми;
• оптимизированными для Интернета;
• масштабируемыми для любых современных устройств и для любой скорости подключений;
• экономичными с точки зрения потребления вычислительных ресурсов и оптимизированными для оборудования;
• способными обеспечить стабильную передачу высококачественного видео в реальном времени;
• гибкими для использования с коммерческим и некоммерческим содержимым, включая и материалы, созданные пользователями.

Развитие форматов кодирования видео

Наиболее эффективным форматом кодирования видео на сегодняшний день является HEVC (см. рис. 1*). Измерять эффективность кодирования видео можно разными способами. Метод BD-RATE, использованный на вертикальной оси на рис. 1, широко используется. Он позволяет свести скорость потока данных и качество видео в одну метрику (поскольку эти две характеристики в определенной степени зависят одна от другой) путем сравнения кривых, образованных показателями качества и скорости данных, с «золотым» форматом (в качестве эталонного кодирования используется WG11 HM14). Для оценки качества в этом сравнении используется метрика Y-PSNR. Y-PSNR долгое время считалась вполне адекватной для оценки видео, но с появлением последнего поколения форматов кодирования видео она стала менее полезной. Тем не менее это очень удачный формат. Можно добиться очень высокого качества видео, близкого к «объективным» результатам, если решить проблемы с крупными блоками. Он был разработан в рамках открытого процесса, в котором участвовали представители разных стран, в том числе учебных заведений, государственных организаций и частных компаний: сотни великолепных специалистов, среди которых было и несколько юристов. 

В WebM существует альтернативная модель. Кодек VP8 (первый среди кодеков WebM) изначально разрабатывался как проприетарная технология. Он был приобретен корпорацией Google, превращен в открытый и быстро приспособлен к поточной передаче видео. Корпорация Google предоставляет отрасли свободные лицензии на использование, свободное ПО с открытым исходным кодом и даже бесплатные аппаратные ресурсы. Кодек VP8 не был и не является конкурентом AVC и HEVC по эффективности кодирования видео для вещания, но он был развернут большим количеством клиентов с незначительными лицензионными ограничениями. Этот формат чаще всего используется для видеоконференций, которым он хорошо подходит.  

Формат VP9 был недавно разработан в качестве замены для VP8 с аналогичной (свободной) моделью лицензирования. VP9, как и HEVC, — хороший и современный видеокодек. Сравните неподвижные кадры на рис. 1, 2 и 3 ниже.  Мне хотелось продемонстрировать недостатки использования устаревших метрик качества, поэтому я использую один из труднейших видеороликов для HEVC:  crowd_run.  Это сложная последовательность, поскольку в ней смешано множество типов движения, огромный объем информации и текстуры, которые невозможно уложить в крупные блоки.  Обычно в среднем для большого объема материалов HEVC выдает более высокое качество, чем VP9 (рис. 1), но в данном случае это не так. В данном случае преимущества VP9 <видны>, что называется, невооруженным глазом.

Как и в HEVC, в VP9 поддерживается увеличенная глубина цвета, расширенная цветовая гамма, высокие разрешения и самые разные области применения. По качеству VP9 гораздо ближе к HEVC, чем VP8 к AVC, и я могу предположить (поскольку формат VP9 еще сравнительно новый), что в дальнейшем это отставание по качеству станет еще меньше.

_{Рисунок 1. * Кодирование VP9 при скорости потока 8,5 Мбит/с с параметрами –good–cpu-used=0. Увеличенная область изображения crowd-run. Обратите внимание на детализацию деревьев. Очень хорошие результаты для очень сложной последовательности кадров (к сожалению, при данном уровне качества кодек работает на два порядка медленнее остальных)}  

_{Рисунок 2. * Кодирование AVCпри скорости потока 12 Мбит/с с параметром –veryslow. Увеличенная область стандартной тестовой последовательности изображений crowd-run. Обратите внимание, насколько смазаны деревья. Несмотря на это, метрика PSNRдля AVCна 2 дБ выше (!)}  

_{Рисунок 3. * Кодирование HEVCпри скорости потока 7,6 Мбит/с с параметром –TU4. Увеличенная область изображения crowd-run. Здесь меньше очевидных артефактов кодирования, чем у x264, при гораздо меньшей скорости потока данных, но качество ниже, чем у VP9. (По объективным показателям в данном случае скорость потока данных на 10 % ниже, чем при использовании VP9, с одинаковым Y-PSNR.) Интересно, что программная версия работает вдвое быстрее, чем AVC}

Впрочем, корпорация Google действовала на этом поприще не в одиночку.  Другие компании, которым требовалось кодировать видео без уплаты лицензионных отчислений, создали новые форматы видео. Наиболее известные из них: Daala компаний Xiph/Mozilla, Thor корпорации Cisco, использующиеся в КНР форматы AVS (v1 и v2). 

Обе модели способны создавать форматы кодирования видео равноценного технического качества. Зачем же тогда мы вступили в Alliance for Open Media?  

Мы считаем, как и другие основатели этого консорциума, что новый формат, который последует за HEVC и VP9, должен не просто пройти дальше по пути повышения эффективности кодирования видео. Мы стремимся создать технологии, способные удовлетворить растущие потребности Интернета в высококачественном видео, звуке, изображениях и поточной передаче мультимедиа на все типы устройств для всех пользователей во всем мире.  В составе Alliance мы получили возможность объединить Thor, Daala и VP10 в едином однородном формате видео нового поколения, создавая возможности для реализации самых разных решений мультимедиа.

Что, где, когда?

Если вы надеетесь получить новый видеокодек уже к концу года, увы, его создание займет больше времени. Мы работаем быстро, но даже текущее поколение видеоформатов значительно превосходит предыдущее, мы вложили немало сил и средств в оборудование, программы и инструменты для создания и распространения HEVC (и VP9). Потребуется значительное время, чтобы разработать новый формат видео, способный качественно обогнать HEVC (поэтому не ждите результатов нашей работы, чтобы перейти на наш кодек с AVC <<и получить преимущества HEVC>>…).    

Мы не сомневаемся, что совместная работа в этом направлении позволит нам создать проект с открытым исходным кодом, в рамках которого будут созданы форматы мультимедиа нового поколения, кодеки и технологии, в которых будет заинтересована широкая публика.

Присоединяйтесь к нам!

Заинтересованные стороны спрашивают у нас, чем они могли бы помочь. Итак, вот то, что мне хотелось бы получить от более широкого сообщества, даже если вы решили не вступать в непосредственные отношения с Alliance for Open Media. 

• Корпорации Intel требуются оригинальные, несжатые и бесплатные видеоматериалы вещательного качества (как для решения технических проблем командой, которая занимается алгоритмами сжатия, так и для демонстрации этой технологии).
   
• Корпорация Intel поддерживает новые решения в области средств анализа качества видео, способных работать со средствами кодирования нового поколения. В частности, средства анализа качества должны обращать особое внимание на вибрацию, мерцание, чувствительные к движению артефакты, которые становятся наиболее заметными при попадании в крупные блоки, на экранах особенно высокой яркости и контрастности. Intel Video Quality Caliper (в составе Intel® Video Pro Analyzer) — подключаемый модуль для создания новых решений в этой области.
   
• И важнее всего то, что корпорации Intel нужна ваша поддержка. Если вы — сторонник открытых видеоформатов, не требующих уплаты лицензионных отчислений, сообщите нам об этом.  Если нужно, обращайтесь к нам (контактные данные см. ниже).

Контакты

• Марк Бакстон (Mark J. Buxton, Mark.J.Buxton@intel.com), директор направления Intel® Media Development Products
• Представитель Intel AOMedia: Зак Хэмм (Zach Hamm, zachary.f.hamm@intel.com)

• Веб-сайт Alliance for Open Media: www.aomedia.org

* Сведения об измерении производительности

Процесс, использованный нами для измерения производительности HEVC и качества видео, описан в информационном документе (https://software.intel.com/sites/default/files/managed/d7/07/Intel_HEVCWhitepaper_v1%2050_R6_24Jun2015.pdf).

Мы использовали великолепные сторонние инструменты WebM и x264 для оценки этих кодеков.

Webm:  https://chromium.googlesource.com/webm/libvpx/+/v1.4.0
X264: http://download.videolan.org/pub/videolan/x264/binaries/win64/x264-r2597-e86f3a1.exe

Мы использовали модели CQP, чтобы избежать различий, вызванных разными способами управления скоростью потока данных, которые зачастую различаются в разных приложениях.  Такой подход, впрочем, не является полностью нейтральным в отношении средств кодирования, поскольку базовые структуры mini-GOP значительно различаются в этих трех реализациях.

Для x264: park_joy, ducks_take_off use QP’s [28, 31, 35, 37, 40, 45]. Crowd_run используют QP [26, 30, 34, 38, 40, 45].  bq_terrace использует QP [25, 27, 31, 34].  Park_scene и touchdown_pass используют QP [23, 26, 29, 32].  Vp9 и vp9 используют QP [40, 50, 55, 60, 63] для всех последовательностей.  Сведения об HEVC см. по приведенной выше ссылке на информационный документ.

Использование VP8:  vpxenc -p 1 --good --cpu-used=16 --end-usage=q --cq-level=40 --max-q=40 --tune=psnr --verbose --psnr -w 1920 -h 1080 --fps=50/1 --limit=500 --codec=vp8

Использование VP9: vpxenc -p 1 --good --cpu-used=8 --end-usage=q --cq-level=40 --tune=psnr --verbose --psnr -w 1920 -h 1080 --fps=50/1 --limit=500 --codec=vp9

Использование x264: x264-r2597-e86f3a1.exe --qp 26 --presetveryslow --tunepsnr --keyint 100000  --input-res 1920x1080

Базовая конфигурация: Intel® MediaServerStudio 2015 ProfessionalR7 в операционнойсистемеMicrosoft* Windows* 8.1.  ЭталоннаяплатформаIntelс процессоромIntel® Corei7-4770 (84 Вт, 4 ядра, 3,5 ГГц, ГП Intel® HD Graphics 4600).   Плата Intel Z87KL с Intel Z87LPC, 16 ГБ ОЗУ (4 модуля UDIMM DDR3-1600 МГц по 4 ГБ), жесткий диск 1 ТБ, 7200 об./мин. SATA, включена технология TurboBoostи гиперпоточность. Источник: внутренние измерения Intelпо данным на сентябрь 2015 г.

** Для сравнения преимуществ Intel Quick-sync Video с программным решением мы использовали следующую базовую конфигурацию: эталонная платформа Intel Shark Bay V2 с процессором Intel® Core i7-5850 (43 Вт, 4 ядра, 2,7 ГГц, ГП Intel® Iris Pro P6200), 16 ГБ ОЗУ (4 модуля UDIMM DDR3-1600 МГц по 4 ГБ), жесткий диск 1 ТБ, 7200 об./мин. SATA, включена технология Turbo Boost и гиперпоточность, 64-разрядная версия Microsoft* Windows* 8.1, Intel® Media Server Studio 2015 R6 Essentials Edition.  x264 с параметром –very fast, QSV с параметром –TU4. Источник: внутренние измерения Intel по данным на август 2015 г.

Intel, эмблема Intel, Core и Xeon являются товарными знаками корпорации Intel в США и других странах.
* Прочие наименования и товарные знаки могут быть собственностью третьих лиц.
© Intel Corporation, 2015 г.

Дополнительные сведения об оптимизации компиляторов см. в нашем уведомлении об оптимизации.

Уведомление

При использовании этого модуля перевода будет создан машинный перевод исходного содержимого. Перевод предоставляется для ознакомления, его полнота и точность не гарантируются.