图像处理 Image Processing

石鑫华视觉

图像处理 Image Processing

图像处理概述图像处理(image processing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。基本内容 图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。图像处理技术的主要内容包括图像压缩，增强和复原，匹配、描述和识别3个部分。 常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。图像处理一般指数字图像处理。

                               
登录/注册后可看大图

图像处理

什么是图像处理

所谓数字图像处理就是利用计算机对图像信息进行加工以满足人的视觉心理或者应用需求的行为。实质上是一段能够被计算机还原显示和输出为一幅图像的数字码。 21世纪是一个充满信息的时代，图像作为人类感知世界的视觉基础，是人类获取信息、表达信息和传递信息的重要手段。数字图像处理，即用计算机对图像进行处理，其发展历史并不长。数字图像处理技术源于20世纪20年代，当时通过海底电缆从英国伦敦到美国纽约传输了一幅照片，采用了数字压缩技术。首先数字图像处理技术可以帮助人们更客观、准确地认识世界，人的视觉系统可以帮助人类从外界获取3/4以上的信息，而图像、图形又是所有视觉信息的载体，尽管人眼的鉴别力很高，可以识别上千种颜色，但很多情况下，图像对于人眼来说是模糊的甚至是不可见的，通过图象增强技术，可以使模糊甚至不可见的图像变得清晰明亮。另一方面，通过数字图像处理中的模式识别技术，可以将人眼无法识别的图像进行分类处理。通过计算机模式识别技术可以快速准确的检索、匹配和识别出各种东西。
　　数字图像处理技术已经广泛深入地应用于国计民生休戚相关的各个领域。
　　在计算机中，按照颜色和灰度的多少可以将图像分为二值图像、灰度图像、索引图像和真彩色RGB图像四种基本类型。目前，大多数图像处理软件都支持这四种类型的图像。
(1) 二值图像：

　　一幅二值图像的二维矩阵仅由0、1两个值构成，“0”代表黑色，“1”代白色。由于每一像素（矩阵中每一元素）取值仅有0、1两种可能，所以计算机中二值图像的数据类型通常为1个二进制位。二值图像通常用于文字、线条图的扫描识别（OCR）和掩膜图像的存储。
(2) 灰度图像：　　灰度图像矩阵元素的取值范围通常为[0，255]。因此其数据类型一般为8位无符号整数的（int8），这就是人们经常提到的256灰度图像。“0”表示纯黑色，“255”表示纯白色，中间的数字从小到大表示由黑到白的过渡色。在某些软件中，灰度图像也可以用双精度数据类型（double）表示，像素的值域为[0，1]，0代表黑色，1代表白色，0到1之间的小数表示不同的灰度等级。二值图像可以看成是灰度图像的一个特例。
(3) 索引图像：

　　索引图像的文件结构比较复杂，除了存放图像的二维矩阵外，还包括一个称之为颜色索引矩阵MAP的二维数组。MAP的大小由存放图像的矩阵元素值域决定，如矩阵元素值域为[0，255]，则MAP矩阵的大小为256Ⅹ3，用MAP=[RGB]表示。MAP中每一行的三个元素分别指定该行对应颜色的红、绿、蓝单色值，MAP中每一行对应图像矩阵像素的一个灰度值，如某一像素的灰度值为64，则该像素就与MAP中的第64行建立了映射关系，该像素在屏幕上的实际颜色由第64行的[RGB]组合决定。也就是说，图像在屏幕上显示时，每一像素的颜色由存放在矩阵中该像素的灰度值作为索引通过检索颜色索引矩阵MAP得到。索引图像的数据类型一般为8位无符号整形（int8），相应索引矩阵MAP的大小为256Ⅹ3，因此一般索引图像只能同时显示256种颜色，但通过改变索引矩阵，颜色的类型可以调整。索引图像的数据类型也可采用双精度浮点型（double）。索引图像一般用于存放色彩要求比较简单的图像，如Windows中色彩构成比较简单的壁纸多采用索引图像存放，如果图像的色彩比较复杂，就要用到RGB真彩色图像。
(4) RGB彩色图像：

　　RGB图像与索引图像一样都可以用来表示彩色图像。与索引图像一样，它分别用红（R）、绿（G）、蓝（B）三原色的组合来表示每个像素的颜色。但与索引图像不同的是，RGB图像每一个像素的颜色值（由RGB三原色表示）直接存放在图像矩阵中，由于每一像素的颜色需由R、G、B三个分量来表示，M、N分别表示图像的行列数，三个M x N的二维矩阵分别表示各个像素的R、G、B三个颜色分量。RGB图像的数据类型一般为8位无符号整形，通常用于表示和存放真彩色图像，当然也可以存放灰度图像。
　　数字化图像数据有两种存储方式[6]：位图存储(Bitmap)和矢量存储(Vector)
　　我们平常是以图像分辨率（即象素点）和颜色数来描述数字图象的。例如一张分辨率为640*480,16位色的数字图片，就由2^16=65536种颜色的307200(=640*480)个素点组成.
　　位图图像：位图方式是将图像的每一个象素点转换为一个数据，当图像是单色（只有黑白二色）时，8个象素点的数据就占据一个字节（一个字节就是8个二进制数，1个二进制数存放象素点）；16色（区别于前段“16位色”）的图像每两个象素点用一个字节存储；256色图像每一个象素点用一个字节存储。这样就能够精确地描述各种不同颜色模式的图像图面。位图图像弥补了矢量式图像的缺陷，它能够制作出色彩和色调变化丰富的图像，可以逼真地表现自然界的景象，同时也可以很容易地在不同软件之间交换文件，这就是位图图像的优点；而其缺点则是它无法制作真正的3D图像，并且图像缩放和旋转时会产生失真的现象，同时文件较大，对内存和硬盘空间容量的需求也较高。位图方式就是将图像的每一像素点转换为一个数据。如果用1位数据来记录，那么它只能代表2种颜色（2^1=2）；如果以8位来记录，便可以表现出256种颜色或色调(2^8=256)，因此使用的位元素越多所能表现的色彩也越多。通常我们使用的颜色有16色、256色、增强16位和真彩色24位。一般所说的真彩色是指24位(2^24)的位图存储模式适合于内容复杂的图像和真实照片。但随着分辨率以及颜色数的提高，图像所占用的磁盘空间也就相当大；另外由于在放大图像的过程中，其图像势必要变得模糊而失真，放大后的图像像素点实际上变成了像素“方格”。 用数码相机和扫描仪获取的图像都属于位图。
矢量图像：矢量图像存储的是图像信息的轮廓部分，而不是图像的每一个象素点。例如，一个圆形图案只要存储圆心的坐标位置和半径长度，以及圆的边线和半径长度，以及圆的边线和内部的颜色即可。该存储方式的缺点是经常耗费大量的时间做一些复杂的分析演算工作，图像的显示速度较慢；但图像缩放不会失真；图像的存储空间也要小得多。所以，矢量图比较适合存储各种图表和工程。
图像处理的数据

图像处理离不开海量、丰富的基础数据，包括视频、静态图像等多种格式，如Berkeley分割数据集和基准500 （BSDS500）、西门菲沙大学不同光照物体图像数据库、神经网络人脸识别数据、CBCL-MIT StreetScenes（麻省理工学院街景数据库）等。
实际应用中，以机器视觉为主，这时图像处理的数据以实际的被测对象为主，对象包罗万象。但是可以使用的方法基本上也就那么一些，如找点、找线、定位、识别、分类、读取等等。
图像数字化

通过取样和量化过程将一个以自然形式存在的图像变换为适合计算机处理的数字形式。图像在计算机内部被表示为一个数字矩阵，矩阵中每一元素称为像素。图像数字化需要专门的设备，常见的有各种电子的和光学的扫描设备，还有机电扫描设备和手工操作的数字化仪。在机器视觉中，现在基本上都已经使用数字相机，即已经将模拟的图像信息转换成了相应的数字信息了。当然在早期或者是现在某些特别的应用中，也依然还有模拟相机，模拟相机传递的是模拟信号，这个信号计算机是无法处理的，因此需要添加额外的图像采集卡，将模拟图像信息转换成计算机能识别的数字信息。
图像编码

对图像信息编码，以满足传输和存储的要求。编码能压缩图像的信息量，但图像质量几乎不变。为此，可以采用模拟处理技术，再通过模-数转换得到编码，不过多数是采用数字编码技术。编码方法有对图像逐点进行加工的方法，也有对图像施加某种变换或基于区域、特征进行编码的方法。脉码调制、微分脉码调制、预测码和各种变换都是常用的编码技术。
图像压缩

由数字化得到的一幅图像的数据量十分巨大，一幅典型的数字图像通常由500×500或1000×1000个像素组成。如果是动态图像，是其数据量更大。因此图像压缩对于图像的存储和传输都十分必要。
有两类压缩算法，即无损压缩和有损压缩。最常用的无损压缩算法取空间或时间上相邻像素值的差，再进行编码。游程码就是这类压缩码的例子。有损压缩算法大都采用图像交换的途径，例如对图像进行快速傅里叶变换或离散的余弦变换。著名的、已作为图像压缩国际标准的JPEG和MPEG均属于有损压缩算法。前者用于静态图像，后者用于动态图像。它们已由芯片实现。
图像增强与复原

图像增强的目标是改进图片的质量，例如增加对比度，去掉模糊和噪声，修正几何畸变等；图像复原是在假定已知模糊或噪声的模型时，试图估计原图像的一种技术。
　　图像增强按所用方法可分成频率域法和空间域法。前者把图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强。采用低通滤波（即只让低频信号通过）法，可去掉图中的噪声；采用高通滤波法，则可增强边缘等高频信号，使模糊的图片变得清晰。具有代表性的空间域算法有局部求平均值法和中值滤波（取局部邻域中的中间像素值）法等，它们可用于去除或减弱噪声。
　　早期的数字图像复原亦来自频率域的概念。现代采取的是一种代数的方法，即通过解一个大的方程组来复原理想的图片。
　　以提高图像质量为目的的图像增强和复原对于一些难以得到的图片或者在拍摄条件十分恶劣情况下得到的图片都有广泛的应用。例如从太空中拍摄到的地球或其他星球的照片，用电子显微镜或X光拍摄的生物医疗图片等。
　　图像增强

　使图像清晰或将其转换为更适合人或机器分析的形式。与图像复原不同，图像增强并不要求忠实地反映原始图像。相反，含有某种失真（例如突出轮廓线）的图像可能比无失真的原始图像更为清晰。常用的图像增强方法有：①灰度等级直方图处理：使加工后的图像在某一灰度范围内有更好的对比度；②干扰抑制：通过低通滤波、多图像平均、施行某类空间域算子等处理，抑制叠加在图像上的随机性干扰；③边缘锐化：通过高通滤波、差分运算或某种变换，使图形的轮廓线增强；④伪彩色处理：将黑白图像转换为彩色图像，从而使人们易于分析和检测图像包含的信息。
　　图像复原

　除去或减少在获得图像过程中因各种原因产生的退化。这类原因可能是光学系统的像差或离焦、摄像系统与被摄物之间的相对运动、电子或光学系统的噪声和介于摄像系统与被摄像物间的大气湍流等。图像复原常用二种方法。当不知道图像本身的性质时，可以建立退化源的数学模型，然后施行复原算法除去或减少退化源的影响。当有了关于图像本身的先验知识时，可以建立原始图像的模型，然后在观测到的退化图像中通过检测原始图像而复原图像。
图像分割将图像划分为一些互不重叠的区域，每一区域是像素的一个连续集。通常采用把像素分入特定区域的区域法和寻求区域之间边界的境界法。区域法根据被分割对象与背景的对比度进行阈值运算，将对象从背景中分割出来。有时用固定的阈值不能得到满意的分割，可根据局部的对比度调整阈值，这称为自适应阈值。境界法利用各种边缘检测技术，即根据图像边缘处具有很大的梯度值进行检测。这两种方法都可以利用图像的纹理特性实现图像分割。
形态学

图像处理形态学一词通常指生物学的一个分支，它用于处理动物和植物的形状和结构。在数学形态学的语境中也使用该词来作为提取图像分量的一种工具，这些分量在表示和描述区域形状（如边界，骨骼和凸壳）时是很有用的。此外，我们还很关注用于预处理和后处理的形态学技术，如形态学滤波、细化和裁剪。
数学形态学的基本运算

　　数学形态学的基本运算有4个：腐蚀、膨胀、开启和闭合。数学形态学方法利用一个称作结构元素的”探针”收集图像的信息，当探针在图像中不断移动时，便可考察图像各个部分之间的相互关系，从而了解图像的结构特征。在连续空间中，灰度图像的腐蚀、膨胀、开启和闭合运算分别表述如下。
腐蚀

　　腐蚀“收缩”或“细化”二值图像中的对象。收缩的方式和程度由一个结构元素控制。数学上，A被B腐蚀，记为AΘB，定义为：

                               
登录/注册后可看大图

  
腐蚀运算

　　换言之，A被B腐蚀是所有结构元素的原点位置的集合，其中平移的B与A的背景并不叠加。
膨胀　　膨胀是在二值图像中“加长”或“变粗”的操作。这种特殊的方式和变粗的程度由一个称为结构元素的集合控制。结构元素通常用0和1的矩阵表示。数学上，膨胀定义为集合运算。A被B膨胀，记为A⊕B，定义为：

  

                               
登录/注册后可看大图

膨胀运算

其中，Φ为空集，B为结构元素。总之，A被B膨胀是所有结构元素原点位置组成的集合，其中映射并平移后的B至少与A的某些部分重叠。这种在膨胀过程中对结构元素的平移类似于空间卷积。
　　膨胀满足交换律，即A⊕B=B⊕A。在图像处理中，我们习惯令A⊕B的第一个操作数为图像，而第二个操作数为结构元素，结构元素往往比图像小得多。
　　膨胀满足结合律，即A⊕(B⊕C)=(A⊕B)⊕C。假设一个结构元素B可以表示为两个结构元素B1和B2的膨胀，即B=B1⊕B2，则A⊕B=A⊕(B1⊕B2)=(A⊕B1)⊕B2，换言之，用B膨胀A等同于用B1先膨胀A，再用B2膨胀前面的结果。我们称B能够分解成B1和B2两个结构元素。结合律很重要，因为计算膨胀所需要的时间正比于结构元素中的非零像素的个数。通过结合律，分解结构元素，然后再分别用子结构元素进行膨胀操作往往会实现很客观的速度的增长。
开启

　　A被B的形态学开运算可以记做A?B，这种运算是A被B腐蚀后再用B来膨胀腐蚀结果，即：

                               
登录/注册后可看大图

  
开运算

　　开运算的数学公式为：

  

                               
登录/注册后可看大图

　　其中，∪{·}指大括号中所有集合的并集。该公式的简单几何解释为：A?B是B在A内完全匹配的平移的并集。形态学开运算完全删除了不能包含结构元素的对象区域，平滑了对象的轮廓，断开了狭窄的连接，去掉了细小的突出部分。
闭合

　　A被B形态学闭运算记做A·B，它是先膨胀后腐蚀的结果：

  

                               
登录/注册后可看大图

闭运算

　　从几何学上讲，A·B是所有不与A重叠的B的平移的并集。想开运算一样，形态学闭运算会平滑对象的轮廓。然后，与开运算不同的是，闭运算一般会将狭窄的缺口连接起来形成细长的弯口，并填充比结构元素小的洞。
　　基于这些基本运算可以推导和组合成各种数学形态学实用算法，用它们可以进行图像形状和结构的分析及处理，包括图像分割、特征提取、边界检测、图像降噪、图像增强和恢复等。
图像分析

从图像中抽取某些有用的度量、数据或信息。目的是得到某种数值结果，而不是产生另一个图像。图像分析的内容和模式识别、人工智能的研究领域有交叉，但图像分析与典型的模式识别有所区别。图像分析不限于把图像中的特定区域按固定数目的类别加以分类，它主要是提供关于被分析图像的一种描述。为此，既要利用模式识别技术，又要利用关于图像内容的知识库，即人工智能中关于知识表达方面的内容。图像分析需要用图像分割方法抽取出图像的特征，然后对图像进行符号化的描述。这种描述不仅能对图像中是否存在某一特定对象做出回答，还能对图像内容做出详细描述。
　　图像处理的各个内容是互相有联系的。一个实用的图像处理系统往往结合应用几种图像处理技术才能得到所需要的结果。图像数字化是将一个图像变换为适合计算机处理的形式的第一步。图像编码技术可用以传输和存储图像。图像增强和复原可以是图像处理的最后目的，也可以是为进一步的处理做准备。通过图像分割得出的图像特征可以作为最后结果，也可以作为下一步图像分析的基础。
　　图像匹配、描述和识别对图像进行比较和配准，通过分制提取图像的特征及相互关系，得到图像符号化的描述，再把它同模型比较，以确定其分类。图像匹配试图建立两张图片之间的几何对应关系，度量其类似或不同的程度。匹配用于图片之间或图片与地图之间的配准，例如检测不同时间所拍图片之间景物的变化，找出运动物体的轨迹。
　　从图像中抽取某些有用的度量、数据或信息称为图像分析。图像分析的基本步骤是把图像分割成一些互不重叠的区域，每一区域是像素的一个连续集，度量它们的性质和关系，最后把得到的图像关系结构和描述景物分类的模型进行比较，以确定其类型。识别或分类的基础是图像的相似度。一种简单的相似度可用区域特征空间中的距离来定义。另一种基于像素值的相似度量是图像函数的相关性。最后一种定义在关系结构上的相似度称为结构相似度。
　　以图片分析和理解为目的的分割、描述和识别将用于各种自动化的系统，如字符和图形识别、用机器人进行产品的装配和检验、自动军事目标识别和跟踪、指纹识别、X光照片和血样的自动处理等。在这类应用中，往往需综合应用模式识别和计算机视觉等技术，图像处理更多的是作为前置处理而出现的。
多媒体应用的掀起，对图像压缩技术的应用起了很大的推动作用。图像，包括录像带一类动态图像将转为数字图像，并和文字、声音、图形一起存储在计算机内，显示在计算机的屏幕上。它的应用将扩展到教育、培训和娱乐等新的领域。