Метод временных интерполяции ВИДЕО НА ОСНОВЕ объектной модели КАДРА

В статье предлагается метод интерполяции видео последовательности с целью повышения частоты кадров на стороне декодера. Оценка и компенсация движения выполняется на основе вычисления вейвлетного аппроксимаций оптического потока. Для улучшения качества интерполированных кадров предлагается компенсация движения с применением объектной модели кадра.

Большинство современных технологий, использующих обработку видеосигналов, сталкиваются с проблемой преобразования частоты кадров. Данная проблема возникает при передаче и сохранении видеоданных и затрагивает дискретизацию кадров (изображений) не только в пространстве, но и во времени. Изменение частоты кадров выполняется также при переходе от одного стандарта видео к другому (PAL / SECAM и NTSC), при восстановлении кадров были испорчены во время некачественной передачи. Поэтому необходимо предусматривать информацию в пропущенных / испорченных кадрах основываясь на имеющейся в соседних кадрах.

Поставленная проблема использует временную модель последовательности кадров и является типичной задачей интерполяции, в котором известная таблица значений функций при заданных значениях аргумента надо вычислить значения функции в промежуточных точках. Но, при использовании алгоритмов линейной интерполяции, заметные искажения изображений при воспроизведении съемке быстро движущихся: размытие границ, дрожь, прерывистость. Причина этих искажений заключается в том, что применение прямой интерполяции не всегда допустимо. Поэтому вместо прямой интерполяции применяется интерполяция с компенсацией движения.

В задачах обработки видео время может рассматриваться как дополнительное измерение. В связи с этим, в большинстве исследований видеосигнал рассматривается как трехмерная функция f (x, t), где x - двумерный вектор пиксельных координат, а t - время. С физической точки зрения f (x, t) - интенсивность изображения, как функция пространства и времени.

Таким образом, видеосигнал можно разложить в ортонормированной базис для трехмерных сигналов. Но, исходя из того, что наибольшие изменения изображения со временем является результатом движения сцены по отношению к видеокамере, такое представление сигнала малоэффективно. Это в первую очередь связано со смещением уровней яркости в кадрах видеопоследовательности.

Поэтому, наиболее распространенной техникой при кодировании видео, есть техника на основе компенсации движения. Интерполяция с компенсацией движения основывается на анализе изображения, выявлении объектов, движущихся и оценке скорости их перемещения в кадре.

Задача решается путем оценки движения объектов. Для этого измеряется абсолютная величина скорости и направление перемещения объекта, т.е. скорость определяется как векторная величина. На практике определяют горизонтальное и вертикальное смещение объекта за время между двумя кадрами.

Полученные значения являются соответственно горизонтальной и вертикальной координатами вектора, пропорционального скорости, который является вектором движения.

В простейшем случае все элементы кадра могут перемещаться в одном направлении с одной скоростью. В общем случае необходимо определить объекты, или множества элементов изображения характеризуются одним и тем же движением. Каждому такому объект объекта назначается собственный вектор движения.

Для лучшей компенсации движения в изображении необходимо большее количество таких независимых областей с назначенными векторами движения. В предельном случае число независимых векторов движения может равняться числу элементов изображения. Когда известные векторы движения для всех элементов изображения, то возможно переместить элементы в расчетные точки и создать промежуточное изображение.

Перемещение объектов рассматривается с позиции измерения оптического потока, который является смещением уровней яркости в изображении.

Для вычисления смещения уровней яркости со временем, интенсивность изображения f (x, t) должна быть гладкой по x. Тогда оптический поток может рассматриваться как поле траекторий точек между последовательными кадрами. Имея оптический поток, можно построить точный прогноз для большинства точек между последовательными кадрами перемещая каждый пиксел первого кадра вдоль его вектора оптического потока.

Вычисление оптического потока может быть выполнено как с помощью технических приемов, так и с помощью дифференциального потока.

Но точное вычисление оптического потока приводит к большим вычислительных затрат. Поэтому на практике чаще применяют не пиксел, как единицу перемещения, а блок пикселей. Неправильное определение векторов движения отдельных блоков приводит к нежелательным визуальных эффектов, которые проявляются в виде дрожания или деформаций элементов изображения. Для уменьшения подобных нежелательных артефактов вычислим кратномасштабни вейвлетного аппроксимации оптического потока с дальнейшим согласованием векторов движения на объектной модели кадров.

Пусть уровень яркости и-го кадра-f (x), а А - время, за которое демонстрируется кадр.