第３８卷 第６期 Ｖ０Ｊ－３８ ・计算机工程 ２０１２年３月 Ｍａｒｃｈ ２０１２ Ｎｏ．６ Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ 多媒体技术及应用・ 文章编号：１ｏｏ０＿－＿３４２８（２０ｌ２）ｏ６．＿一Ｊ２３ｏ＿＿０３ 文献标识码：Ａ 中围分类号：ＴＰ３９１．４１ 基于梯度投影法的电子稳像算法 齐蕴光，安钢，龚正波 （装甲兵工程学院机械工程系，北京１０００７２） 摘要：灰度投影法在灰度值单一、对比度差的图像序列中的运动估计不精准，易造成误差。针对该问题，提出一种基于梯度投影法的电 子稳像算法。该算法根据梯度帧内变化剧烈、帧问变化稳定、梯度投影曲线变化明显等特点，利用图像的梯度分布情况进行运动估计。实 验结果表明，该算法可提高微光图像序列的帧间运动估计精度。 关健词：电子稳像；灰度投影法；梯度投影法；微光图像；光流 Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ Ｂａｓｅｄ ０ｎ Ｇｒａｄｉｅｎｔ Ｐｒｏｊｅｃｔｉｏｎ Ｍｅｔｈｏｄ ＱＩ Ｙｕｎ－ｇｕａｎｇ，ＡＮ Ｇａｎｇ，ＧＯＮＧ Ｚｈｅｎｇ・ｂｏ （Ｄｅｐａｒｔｍｅｎｔ ｏｆＭｅｃｈａｎｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，Ａｃａｄｅｍｙ ｏｆＡｒｍｏｒｅｄ Ｆｏｒｃｅｓ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｂｅｉｊｉｎｇ １０００７２，Ｃｈｉｎａ） ［Ａｂｓｔｒａｃｔ］Ｉｎ ｖｉｅｗ ｏｆ ｔｈｅ ｐｒｏｂｌｅｍ ｔｈａｔ ｔｈｅ ｇｒａｙ ｐｒｏｊｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｃａｎ ｎｏｔ ｄｅａｌ ｗｉｔｈ ｌｏｗ ｃｏｎｔｒａｓｔ ｒａｔｉｏ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ ａｃｃｕｒａｔｅｌｙ，ｔｈｉｓ ｐａｐｅｒ ｐｒｅｓｅｎｔｓ ａｎ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ（ＥＩＳ）ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｇｒａｄｉｅｎｔ ｐｒｏｊｅｃｔｉｏｎ ｍｅｔｈｏｄ．Ｉｔ ｃａｎ ｕｔｉｌｉｚｅ ｔｈｅ ｄｉｓｔｉｒｂｕｔｉｏｎ ｏｆ ｈｅ ｉｔｍａｇｅ ｇｒａｄｉｅｎｔ ｔｏ ｅｓｔｉｍａｔｅ ｍｏｔｉｏｎ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ａｄｖａｎｔａｇｅ ｏｆ ｇｒａｄｉｅｎｔ ｆｅａｔｕｒｅ ｃｈａｎｇｅｓ ｖｉｏｌｅｎｔｌｙ ｉｎｔｒａ—ｆｒａｍｅ ａｎｄ ｃｈａｎｇｅｓ ｓｔｅａｄｉｌｙ ｉｎｔｅｒ－ｆｒｍｅ．Ｅｘｐｅｒａｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｄｅｍｏｎｓｔｒａｔｅ ｈａｔｔ ｈｅ ｔａｌｇｏｒｉｔｈｍ ｃａｎ ｅｆｆｅｃｔｉｖｅｌｙ ｉｍｐｒｏｖｅ ｔｈｅ ｍｏｔｉｏｎ ｅｓｉｍａｔｔｅｄ ａｃｃｕｒａｃｙ ｕｎｄｅｒ ｌｏｗ—ｌｉｇｈｔ ｌｅｖｅｌ ｉｍａｇｅ ｓｅｑｕｅｎｃｅ． ［Ｋｅｙ ｗｏｒｄｓ｜Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ（ＥＩＳ）；ｇｒａｙ ｐｒｏｊｅｃｔｉｏｎ ｍｅｔｈｏｄ；ｇｒａｄｉｅｎｔ ｐｒｏｊｅｃｔｉｏｎ ｍｅｔｈｏｄ；ｌｏｗ—ｌｉｇｈｔ ｌｅｖｅｌ ｉｍａｇｅ；ｏｐｔｉｃａｌ ｆｌｏｗ Ｄ０Ｉ：１０．３９６９／ｊ．ｉｓｓｎ．１０００—３４２８．２０１２．０６．０７６ １概述 在目标跟踪过程中，摄像机载体的随机振动和姿态变化 的像素灰度值， Ｎ 、Ⅳ分别为图像投影区域的行、列数。 图像第ｉ行的灰度投影值为： ＧｒａｙＹｋ（ｆ）＝∑Ｇｋ（ｆ，Ｊ） ｌ 产生的不平稳运动会导致视频图像序列的不稳定甚至模糊， 这种不平稳运动不仅影响系统的成像质量、造成观测者的视 觉疲劳，还会给运动Ｈ标检测带来困难。 电子稳像（Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ，ＥＩＳ）是指利用图 像处理手段从输入的视频图像序列中去除由摄像机的随机运 动造成的图像扰动，使输出图像序列保持稳定的技术手段。 （１） 图像第 列的灰度投影值为： Ｍ ＧｒａｙＸＩ￣（ｊ）＝∑Ｇｋ（ｆ，Ｊ） ｌ＝Ｓ （２） 投影曲线反映了图像灰度分布的特点，为方便描述，将 图像行方向的投影曲线记为水平投影曲线，将图像列方向的 投影曲线记为垂直投影曲线。 帧间运动估计是实现电子稳像的关键环节，目前应用于稳像 的运动估计方法有很多，灰度投影法１１－５１是其中的一种重要方 法。它能充分利用图像灰度总体分布的变化规律，较准确地 估计图像的运动矢量，具有计算量小、精度高的特点…。美 国ＡＲＬ研究实验室采用此方法在Ｄｅｍｏｌ号自控目标跟踪系 统中实现了图像的实时稳定。 但是投影算法有一定的应用条件，图像的灰度变化应较 ２．２投影滤波处理 当图像的位移量大时，由于每一幅图像的边缘信息是唯 一的，因此会导致投影的波形在边缘处的差异性。传统灰度 投影通常采用全投影，即将投影区域每行（列）进行映射，行 （列）内的每个像素都参与投影。在进行相关计算时，会对互 相关峰值产生影响而降低精度。解决此问题可通过余弦平方 丰富，具有一定的对比度，否则灰度投影曲线变化不明显， 难以精确地求出运动矢量，容易造成误差。通过对图像进行 直方图均衡化处理，能在一定程度上处理对比度较差的图 像，增强算法的鲁棒性，但是不能从根本上解决此问题 。 滤波器进行滤波，以降低边界信息的幅值而保留中心区域的 波形，从而降低边界对互相关的峰值的影响，提高运动矢量 的检测精度。 为此，本文提出一种基于梯度投影法的电子稳像算法。 ２．３互相关计算 将当前帧ｋ的水平、垂直投影曲线与参考帧ｒ的水平、 垂直投影曲线做互相关运算，根据２条相关曲线的唯一谷值 即可确定当前帧相对于参考帧的行、列位移矢量值。设ｍ为 位移矢量相对于参考帧的搜索宽度，以水平相关运算为例， 计算公式如下： 作者倚介：齐蕴光（１９８３一），男，博士研究生，主研方向：电子稳像， 运动目标检测与跟踪；安收稿日期：２０１２一Ｏｌ一０６ 钢，教授；龚正波，博士研究生 Ｅ－ｍａｉｌ：ｑｉｙｕｎｇｕａｎｇ＠１２６．ｃｏｍ ２灰度投影法 灰度投影法是一种基于投影算法的稳像方法，利用图像 灰度分布变化的特点求取图像帧问运动向量，分为灰度映射 和相关计算２个步骤。 ２．１灰度映射 对输入的二维图像进行预处理后，将其灰度信息映射成 ２个独立的一维投影序列。设Ｇ （ｆ，Ｊ）为第ｋ帧图像点（ｆ，Ｊ）处 第３８卷第６ ＪｔｌＪ 齐蕴光，安钢，龚正波：基于梯度投影法的电子稳像算法 ２３１ １ 吾ＩＩＧ （ ｔＪ ）＋ｗ）一Ｇｒ一 ａｙＸ） ０≤１０≤ｗ≤ｍ （ｗ） １ Ｍ ｌＧ ｒ（川 Ｇ 一 ≤ｗ 。 （３） 同理，得到垂直投影相关运算 （ｗ）。水平、垂直相关 运算的谷值 、 即当前帧对应参考帧的移动位移。当血 为正时表明当前帧相对于参考帧向右移移动了】 ｌ像素，为 负时表明当前帧相对于参考帧向左移动了ｌ 像素；当 为 正时表明当前帧相对于参考帧向下移移动了Ｉ Ｊ像素，为负 时表明当前帧相对于参考帧向上移动了ｌ Ｉ像素。 ２．４灰度投影法的优缺点 灰度投影法优点是灰度曲线匹配速度快，有较高的稳像 速度。然而该算法也存在如下缺点：（１）对灰度值单一的图像 处理效果不佳，当图像灰度值单一、对比度很差时，会造成 投影曲线很平，相关以后波谷不够明显，导致运动估计不精 确。（２）只能够估计出行、列的平移运动矢量，不能匹配出图 像旋转的角度矢量。（３）灰度投影法是基于整幅图像的投影， 对于内部物体的运动，不能反映出来。内部运动物体会对投 影的匹配造成一定的影响。 ３基于梯度投影法的电子稳像算法 基于上述分析，本文提出一种基于梯度投影法的电子稳 像算法。该算法实现的基本思路与灰度投影法相同，不同的 是利用的是图像的梯度分布情况进行运动估计。具体实现步 骤如下： （１）由于梯度运算对噪声敏感，为了提高算法的准确度， 需要对图像进行平滑处理，本文选择使用Ｗｉｅｎｅｒ函数对图像 进行预处理。 （２）使用Ｐｒｅｗｉｔｔ梯度算子计算参考帧和当前帧的梯度值， 得到２幅图像的水平、垂直梯度投影曲线。 （３）对２幅图像的行、列梯度投影分别进行相关运算，通 过谷值检测，得到图像的偏移量 、 。 得到水平、垂直方向位移矢量后，把当前图像向位移矢 量的反方向运动相应大小的像素距离，即可实现输出图像序 列的稳定。为了减少边界的影响，一般对梯度投影曲线进行 截断，取中心部位的区域进行相关计算。 ４实验结果与分析 微光图像利用的是微弱的夜天光辐射光谱区域，由于目 标与背景对光线的反差比较小，灰度级有限，因此成像对比 度差、图像平淡，难以分辨细节。为了测试ＧＰＡ法在灰度值 单一、对比度差的图像下的运动估计效果，选取微光图像序 列的连续２帧图像，如图１所示，当前帧相对于参考帧发生 了抖动，且存在缓慢运动的车辆，图像大小为３００ｘ４００像蓁， 帧速为２４帧／ｓ。 ＿（ａ）参考帧 ＿ （ｂ）当前帧 图１徽光图像序列 计算２帧图像的灰度直方图，可以观察到图像灰度值集 中在１４０－２３０的区域间，对比度较差。参考帧的灰度直方图 如图２所示。 图２参考帧的灰度直方图 ４．１计算结果比较 图３、图４分别为利用灰度投影法和本文算法得到的水 平、垂直投影曲线和相关曲线。搜索宽度ｍ设为２０，根据相 关曲线谷值检测得到：（１）灰度投影法：Ｄｘ＝１４、Ａｙ＝一７， 说明当前帧相对于参考帧向右、向上各移动了ｌ４个和７个 像素；（２）本文算法：Ｄｘ＝１３、Ａｙ＝一６，说明当前帧相对于参 考帧向右、向上各移动了１３个和６个像素。 列坐标，像素 （ａ）列灰度投影曲线 列坐标／像素 （ｂ）列灰度投影相关曲线 行坐标／像索 （ｃ）行灰度投影曲线 （ｄ）行灰度投影相关曲线 图３灰度投影法的投影曲线与相关曲线 ２３２ 计算机工程 ２０１２年３月２０日 （ａ）列梯度投影曲线 ０．２４ 。２２０．２０。１８ ： ０．１２ 。１。（ｂ）列梯度投影相关曲线 （ｃ）行梯度投影曲线 （ｄ）行梯度投影相关曲线 图４本文算法蠹ｇ投影曲线与相关曲线 可以观察到，灰度投影曲线起伏平稳、变化缓慢，相关 曲线在谷值附近较平缓，因此定位不精准、容易产生误差； 而梯度投影曲线起伏明显，变化剧烈，相关曲线谷值明显， 定位精确。 ４．２稳像效果评估 图５为灰度投影法和本文算法进行帧间全局运动参数估 计后，对当前帧进行运动补偿后的稳像效果。 ＿＿ （ａ）灰度投影法的稳像帧 （ｂ）本文算法的稳像帧 图５ ２种方法的稳像效果对比 本文采用差影法和光流法对２种算法进行评估，对比 ２种算法的估计精度。 （１）差影法 差值图像提供了图像问的差异信息，可以利用差影法比 较稳像算法的准确性和精度，２种算法稳像帧和参考帧之间 的差分图像如图６所示。 （ａ）灰度投影祛 （ｂ）本文算法 图６ ２种算法穗像后的差分结果 灰度投影法由于运动估计不精确造成了差值不为０的亮 区域；本文算法稳像后的差分图像背景部分像素差很小，接 近于０，而亮区域是由运动目标造成的，有利于进一步对运 动目标进行识别。 （２）光流法 利用ＬＫ光流法 进行参考帧和稳像帧问的光流场估计， 计算结果如图７所示。 （ａ）灰度投影法 （ｂ）本文算法 图７ ２种算法穗像后的光流场 灰度投影法由于帧间运动估计产生了误差，导致光流场 中包含了误差造成的全局运动光流；而本文算法由于稳像精 准，得到的光流场是由图像内运动目标造成的，因此可以很 好地检测到运动目标检测区域，为下一步的目标检测和自动 跟踪的实现提供条件。 利用上述方法对４０组样本进行了评估，采用本文算法 进行运动估计的正确率达到了９７．５％，而灰度投影法估计的 正确率仅为８０％，进一步说明了本文算法的有效性和精确 性。同时，由于本文算法相比灰度投影法仅增加了梯度运算 的环节，因此运算量方面没有明显的增加，依然可以满足稳 像的实时性要求。 ５结束语 本文提出了一种基于梯度投影法的电子稳像算法。实验 结果证明，该算法能提高微光图像序列的运动估计精度，具 有一定的应用价值。然而，本文算法同样存在无法识别旋转 运动以及对运动物体估计不精确等问题。由于本文算法与灰 度投影法的基本思路和实现方法相似，因此将针对这些问题 的灰度投影改进方法引入到梯度投影法中，也可以得到良好 的效果。 （下转第２３５页） 第３８卷第６期 朱东东，何加铭，樊玲慧：基于Ｓｙｍｂｉａｎ平台的流媒体性能优化方法 表１序列解码速度比较 ２３５ ２．２．３结果及讨论 屏幕显示优化的效果对比如图７所示。可见，优化后的 程序具有更好的屏幕流畅性。 ２．２屏幕显示优化 在图形界面绘制过程中，过于频繁的刷新，势必使屏幕 出现闪烁的现象。它会减少程序运行的流畅度，提高ＣＰＵ时 间占用率，最终导致绘图效率降低，甚至会导致程序崩溃 。 本文在显示端采用双缓冲和直接屏幕访问技术优化，通过实 验结果证明该方法可有效提高输出图像的质量。 ２．２．１双缓冲技术 如果一个程序的屏幕频繁的更新。在所有更新完成之 前，窗Ｅｌ服务客户端的缓冲区将会被填满。对于用户来说， （ａ）不采用屏幕优化的情况 （ｂ）采用屏幕优化的情况 将会在屏幕上看到闪烁。解决方法就是使用双缓冲，双缓存 图７不采用和采用屏幕优化措施构输出效果 技术是程序界面开发的关键技术之一。 上述２种技术原理并不复杂，实现起来也不困难，同时 双缓冲是指在屏幕外做一个图像缓冲区，即在内存中开 效果较为理想，它们能完美解决刷新时图形闪烁的问题。因 辟一个缓冲区。先在这个缓冲区内绘制图像，然后将这个图 此，可将两者相结合，以获得更好的效果。 像“粘贴”屏幕上去，如图５所示。虽然程序中的图像切换 ３结束语 很频繁，但是双缓存技术能很好地避免在屏幕上进行刷新时 本文分析了Ｈ．２６４／ＡＶＣ标准的滤波过程，并在此基础上 所带来的屏幕闪烁情况。 对其提出了优化方案。实验证明新算法能够提高解码速度， 有利于实时实现。此外，本文还结合Ｓｙｍｂｉａｎ平台自身的特 点，对图像的显示也进行了优化，消除了屏幕闪烁，提高了 视觉体验度。由于Ｓｙｍｂｉａｎ平台采用的是ＡＲＭ体系架构， 图５双缓冲原理 下一步工作将根据ＡＲＭ芯片处理特点，对Ｈ．２６４解码算法 采用双缓冲技术，可以有效的防止画面的闪烁。但是在 的关键模块进行优化，以达到更高的解码速度。 屏幕外的缓冲区需要占用一部分的内存资源，特别是图像比 较大的时候，内存占用非常严重，所以一般需要考虑动画的 参考文献 质量和运行速度之间的重要性，有选择性地进行开发。 【１】王永栋，戎蒙恬，刘文江，等．基于分级流水线的Ｈ．２６４／ＡＶＣ解 ２．２．２直接屏幕访问 码器设计ｆＪ１．计算机工程，２０１０，３６（１ １）：２２３—２２５． 由于Ｓｙｍｂｉａｎ所有的与设备屏幕的操作有关的普通的显 ［２］郑昊．移动流媒体应用开发【Ｄ】．北京：北京邮电大学，２００６． 示方法，都要使用窗口服务器 Ｊ。在图形密集型的应用程序 ［３】 毕厚杰．新一代视频压缩编码标准——Ｈ＿２６４／ＡＶＣ［Ｍ］．北京： 中，比如动画、视频、游戏等，若要是每一步都向窗口服务 人民邮电出版社，２００８． 器发送请求的话，则显示效率会受很大的影响。因此，对于 ［４］ Ｃｈｅｈｉｍｉ Ｅ Ｃｌａｒｋｅ Ｌ，Ｃｏｆｆｅｙ Ｍ．Ｇａｍｅｓ ｏｎ Ｓｙｍｂｉａｎ ＯＳ：Ａ 图片切换频繁的程序，还要加入直接屏幕访问技术，它适用 Ｈａｎｄｂｏｏｋ ｆｏｒ Ｍｏｂｉｌｅ Ｄｅｖｅｌｏｐｍｅｎｔ［Ｍ］．ＩＳ．１．］：Ｗｉｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ， ２００８． 于高速屏幕绘制的场合，原理如图６所示。 ［５］刘玉娜，樊丰，朱维乐．基于Ｈ．２６４环路滤波算法的研究【Ｊｌ ＿通信技术，２００８，４１（１２）：２５０—２５２． ｆ６］ 陈立伟，张克非，黎秀红．精通Ｊａｖａ手机游戏与应用程序设 计【Ｍ】．北京：中国青年电子出版社，２００５． 图６直接屏幕访问原理 【７】张魏．邀游Ｓｙｍｂｉａｎ——手机应用开发入门与实践［Ｍ］．北京 直接屏幕访问，就是得到屏幕的显存地址，从而直接对 人民邮电出版社，２０１０． 显存进行操作，使用直接写屏是为了加快显示速度。 编辑金胡考 （上接第２３２页） 参考文献 方法【Ｊ】．光子学报，２００５，３４（８）：１２６６—１２６９． 【１】董立羽，卜彦龙，戴斌．电子稳像技术发展评述［Ｊ】＿信息技 【５】徐鲞，王斌锐，金英连．基于特征匹配和卡尔曼滤波的机器 术与信息化，２００４，（６）：１７—２０． 人视觉稳像【Ｊ］．计算机工程，２０１１，３７（２０）：１９４—１９６． ［２］钟平．机载电子稳像技术研究［Ｄ】．北京：中国科学院研究生 ［６】Ｌｕｃａｓ Ｂ Ｄ，Ｋａｎａｄｅ Ａｎ Ｉｎｔｅｒａｃｔｉｖｅ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｔｅｃｈ一 院，２００３． ｎｉｑｕｅ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｓｔｅｒｅｏｖｉｓｉｏｎ［Ｃ］／／Ｐｒｏｃ．ｏｆ Ｉｎｔｅｍａｉｏｎａｌ ［３】李博，王孝通，杨常青，等．电子稳像的灰度投影三点局域 Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｉｆｃｉａｌ ｌｎ￣ｌｌｉｇｅｎｃｅ，Ｖａｎｃｏｕｖｅｇ Ｃａｎａｄａ： 自适应搜索算法【Ｊ】．光电工程，２００４，３１（９）：６９—７２． 【Ｓ．ｎ．】，１９８１． 【４］ 朱娟娟，郭宝龙，冯宗哲．一种基于灰度投影算法的电子稳像 编辑 顾姣健