3.2.5 运动估计与补偿
通过对一幅已知图的一块相邻像素值的重定位来预测一幅图中一块像素的值,运动被描述为一个二维的运动矢量,它指出从用以预测当前块像素值以前的编码图的什么地方来恢复一块像素值。最简单的例子就是摄像机不移动,且场景中的物体也不运动的情况,对每幅图像的位置相同,像素值都相同,且每块的运动矢量为零。
运动补偿(Motion Compensation)实际上是对活动图像进行压缩时所使用的一种帧间编码技术,活动图像主要指一系列静止图像的连续排列,当它们以不小于24帧/秒的数率连续显示时,由于人眼的视觉暂留特性,使人产生了连续的感觉,因此一般情况下,相邻帧间的内容实际上没有太大的变化(场景切换等除外),有很大一部分可能是完全一样的,所以相邻帧间有较大的相关性,这种相关性称为时域相关性。运动补偿的目的正是要将这种时域相关性可能地去除。
运动补偿地基本原理是,当编码器对图像序列中地第N帧进行处理时,利用运动补偿中地核心技术-运动估值ME(Motion Estimation),得到第N帧得预测帧N´。在实际编码传输时,并不总时传输第N帧,而是第N帧和其预测帧N´得差值△。如果运动估计十分有效,△中得概率基本上分布在零附近,从而导致△比原始图像第N帧得能量小得多,编码传输△所需得比特数也就少得多。这就是运动补偿技术能够去除信源中时间冗余度得本质所在。运动补偿原理如图3.17所示。
|
| 图3.17 运动估计基本原理 |
运动补偿的步骤如下:
(1)图像分割为静止得和运动的两部分,估计物体得位移向量(位移值)。
(2)按照估计得到的位移向量取得前一帧的图像数据。
(3)通过使用预测滤波器,得到前一帧图像数据的预测像素。
一个简单的运动补偿过程如图3.16所示。
|
| 图3.16 运动补偿过程 |
运动估值算法
运动估值算法被归纳为两大类,一类是像素递归算法PRA,另一类是块匹配算法。PRA是基于递归思想,如果连续帧中,像素数据得变化是因为物体得位移引起得,算法就会在剃度方向几个像素周围得若干像素做叠代运算,使连续得运算最后收敛于一个运动估计矢量,从而预测该像素得位移;而BMA则使基于当前帧中一定大小得块,在当前帧得前后帧得一定区域内搜索该像素块得最佳匹配块,做为它得预测块,尽管PRA对比较复杂得运动形式来说,其预测精度要较BMA高,当使由于其计算量比BMA大得多,同时BMA算法本省得性能并不完善,所以MPEG推荐BMA。
BMA算法使一种非常直观得运动估计算法,它使基于平移运动得机理来进行运动估值得,在平移运动中,物体上得每一点均又相同得速度大小和方向,在物体运动得估计上,当前时刻所处位置使由前一时刻位置偏移而得到的。把这种认识应用到图像序列中,也就是第N帧中的内容是由第N-1帧中的相应部分经不同方向的平移而形成的,于是,将每帧图像被分成的二维的16X16像素的子块,假定每个子块内的像素都作相等的平移运动,在其相邻帧中相对应的几何位置周围的一定范围内,通过某种匹配准则,寻找这些16x16像素块的最佳匹配块。一旦找到,便将最佳匹配块与当前的相对位移(通常所说的运动矢量)送出,并传输到接收端。
实际应用时,只将运动矢量及最佳匹配块与当前块之间的差值块一起编码传输。在接收端,通过运动矢量在已经恢复的相邻帧中找到当前块的最佳匹配块,并与接收到的差值块相加恢复出当前块,这就是运动补偿基本过程。从BMA的实现原理中可以看到由二个问题需要解决,搜索方式和匹配准则。搜索方式
在众多搜索方式中,计算量最大、精度最高的搜索方式是全搜索方式,它是在搜索窗口SW中的所有可能的偏移位置上对当前块均进行一次匹配运算,最后对素有的寄过进行比较,从而得到最佳匹配及其偏移位置。由于全搜索方式计算匹配次数太多,计算量大,以此在实际过程中产生了许多快速算法。
匹配准则则不仅涉及到搜索进度,而且设计搜索速度。衡量匹配好坏的准测由归一化相关函数NCCF、均方误差MSE和平均绝对误差MAD。采用3种准则所得的估值寄过差别不大,因MAD便于计算和易于硬件实现,而广泛应用。
块匹配是一种在当前图像块和前一帧图像有限区域内的多个侯选块中进行最佳匹配搜索的相关性技术。
整像素运动估计
对最佳匹配MB的搜索由Y分量的整数像素的位移完成。在当前MB和先前原始VOP中被替代的MB间进行比较,并在搜索窗口内进行全搜索,该窗口在原始MB周围水品和垂直方向熵31.5各像素范围内。
这里,x,y≤±31.5,而N=16或8。
(1)16x16或8x8预测模式的判决
为了得到半像素16x16矢量的最佳匹配,SAD记做SAD16(x,y),其中若矢量为(0,0),SAD会减少100,对整个MB为找到最佳匹配的半像素8x8矢量,SAD计算如下:
(2)INTRA(帧内)/NITER(帧间)模式判决
当整数像素运动估计完成后,编码器要判定是用INTRA还是INTER编码模式,4个8x8MV代表每个16x16MB。MB基于SAD的8x8像块如下:
这里,0<k≤4是位于VOP轮廓内的8x8像块数。
如果A<(SADinter-2NB),则选择INTRA模式。若选择了 NITRA模式,对于运动搜索不需要进一步的操作,然而,如果选择了NITER模式,运动搜索将围绕V0位置继续半像素的搜索。
计算SAD代码如下:
//计算宏块 kk = act_block; ii += h_length; kk = act_block; ii += h_length; {int Min_FRAME[7]; #ifndef FULLSEARCH xmax = pels; // PLUSPTYPE lx = pels + 64; if (ilow < -31) act_block = LoadArea (curr, x_curr, y_curr, 16, 16, pels); for (k = 0; k < 7; k++) if (xoff == 0 && yoff == 0) //全象素查找 //16x16 } distortion_0 = distortion_1 = distortion_2 = 65536; for (l = 1; l <= 2 * sxy; l++) for (m = 0; m < 4; m++) i = i_min_now + htp[m]; if (i >= ilow && i <= ihigh && j >= jlow && j <= jhigh) //map i_min_now = i_min_next;
if (!long_vectors || estimation_type == PB_PICTURE_ESTIMATION) sxy = DEF_8X8_WIN; adv_ilow = adv_x_curr - xlim; adv_jlow = adv_y_curr - ylim; adv_h_length = adv_ihigh - adv_ilow + 16; adv_search_area = LoadArea (reference, adv_ilow, adv_jlow, for (block = 0; block < 4; block++) //全象素查找 distortion_0 = distortion_1 = distortion_2 = 65536; for (l = 1; l <= 2 * sxy; l++) distortion_2 = distortion_1; free (act_block); |
void MotionEstimatePicture( unsigned char *curr, unsigned char *prev, if (long_vectors && (estimation_type != PB_PICTURE_ESTIMATION) ) sad16 = f0->min_error; f0->Mode = ChooseMode(curr,i*MB_SIZE,j*MB_SIZE, mmin(sad8,sad16)); //半像素查找 if (use_4mv) sad8 = f1->min_error +f2->min_error +f3->min_error +f4->min_error; for ( j = 0; j < lines/MB_SIZE; j++) if (use_4mv) |
| 回书目 上一节 下一节 |

