视频图像基础知识

视频图像基础知识

 

视频是一系列连续的图片快速播放形成的。 利用人眼视觉暂留的原理，帧频至少24帧，电影为24帧，电视为25或30帧，消费电子为50或60帧等。

 

每帧图片由扫描线构成，分为隔行扫描和逐行扫描，如下图。

 

表示每个图片的起始位置叫场同步（vertical sync），表示每条扫描线的起始位置叫行同步（horizontal sync）。

视频的时序图如下：消隐区 = 同步前沿 + 同步 + 同步后沿，

有效区 = 左（上）边框 + 图像+右（下）边框

 

 

分辨率：显示图像信息的能力，通常我们说的是图像（显示器）的宽高有效像素值，垂直扫描线和水平采样点的数量。

例如：CIF=352288，D1=704576，PAL=720*576，

NTSC=720X480， XGA=1024768，HD=19201080.

分辨率按宽高比有常见几种：4:3，16:9，16:10等。如下图

 

 

 

常见的颜色空间：RGB(计算机、摄像机)，YIQ、YUV、YCbCr(电视、碟机)，CMYK(打印机)，HIS、HSV(直接进行颜色处理)。

 

RGB是其他颜色空间的基础，右图中立方体中的每个点代表了一种颜色。YIQ/YUV/YCBCR为亮度信号和2个色差信号，起到了降低带宽和亮色分离的作用。彩色电视使用可以起到兼容黑白电视的作用。

HIS(色调、饱和度、亮度)/HSV(色调、饱和度、纯度)颜色空间在处理颜色时更直观，与人对颜色的感知方式更接近。各颜色空间可以相互转换。

色度图：表示了全部可见光谱的颜色。越靠近边缘的颜色饱和度越大， 越靠近中心（白色）的颜色饱和度越小。横坐标x为红色比例，纵坐标y为绿色比例。显示器或信号源使用的3基色在色度图中的坐标点围成的 三角形色域即是该显示器能显示的颜色。可看出一定不能覆盖全部颜色

 

自然光谱图：

 

 

颜色基本概念：

亮度：亮度是光作用于人眼所引起的明亮程度的感觉，它与被观察物体的发光强度有关。主要表现光的强和弱

对比度：图像中最亮区域和最暗区域的亮度比，对比度越大，图像越清晰醒目，色彩也越鲜明艳丽

色调：色调是当人眼看一种或多种波长的光时所产生的色彩感觉，它反映颜色的种类，是决定颜色的基本特征。

饱和度：也称色彩的纯度。饱和度取决于彩色成分和白色成分的比例。饱和度越高，颜色越深；饱和度越低，颜色越淡。

例如：红+ 白光 =　粉红色 饱和度下降 　 红 + 另一种颜色的光　　　色调发生变化 色调和饱和度通称为：色度

色温：是高档显示器一个性能指标。光源发光时会产生一组光谱，用一个纯黑体产生出同样的光谱时所需要达到的某一温度，这个温度就是该光源的色温。

灰度等级：灰度图像是一种具有从黑到白渐变的灰度等级的单色图像。数据位是8位的话就是256

 

三基色(RGB)的原理：

自然界常见的各种颜色光，都是由红(R)、绿(G)、蓝(B)

三种颜色光按不同比例相配而成，同样绝大多数颜色也可以

分解成红、绿、蓝三种色光，这就是色度学中最基本的原理

—三基色原理。

红色+绿色=黄色

红色+蓝色=品红

绿色+蓝色=青色

红色+绿色+蓝色=白色　

　

 

RGB和黑白电视信号不兼容，希望空中发射的信号转换成YUV信号。当白光的亮度用Y来表示时，它和红、绿、蓝三色的关系可用如下方程描述：

　　NTSC电视制式的亮度方程为： 　　　Y=0.299R+0.587G+0.114B

　　PAL电视制式的亮度方程为：　 　　　Y=0.222R+0.707G+0.071B

 

彩色空间表示：

 

RGB彩色空间: 一个能发出光波的物体称为有源物体，它的颜色由该物体发出的光波决定，使用RGB相加混合模型 。例：彩色显示器

CMY（K）色彩空间：一个能不发光波的物体称为无源物体，它的颜色由该物体吸收或者反射哪些光波决定，使用CMY相减混合模型。例：彩色打印机和彩色印刷系统都采用CMY色彩空间。 实际印刷中会采用青（C）、品（M）、黄（Y）、黑（BK）四色印刷。油墨或颜料的三基色是青（Cyan）、品红（Magenta）和黄（Yellow），简称为CMY 。

YUV和YIQ彩色空间：电视系统中用YUV和YIQ模型来表示彩色图像。PAL彩色电视制式中使用YUV模型：Y表示亮度信号，U、V表示色差信号，UV构成彩色的两个分量。NTSC彩色电视制式中使用YIQ模型，其中Y表示亮度，I、Q是两个彩色分量。

YUV 彩色空间：· 亮度信号（Y）和色度信号（U，V）是相互独立的，也就是Y信号分量构成的黑白灰度图与用U，V信号构成的另外两幅单色图是相互独立的。由于Y，U，V是独立的，所以可以对这些单色图分别进行编码。黑白电视机能够接收彩色电视信号也就是利用了YUV分量之间的独立性 。

YIQ彩色空间：美国，日本等国采用了NTSC制式，选用的是YIQ彩色空间。Y仍为亮度信号，I，Q仍为色差信号，他们与U, V不同，（但可以相互转换）

彩色空间的转换及实现技术: RGB，HSI，YUV，CMYK等不同的色彩空间只是同一物理量的不同表示法，因而它们之间存在着相互转换关系，这种转换可以通过数学公式的运算而得。例如，CMY为相减混色，它与相加混色的RGB空间正好互补

（1）．RGB与CMY彩色空间的转换:　CMY为减基色，RGB为加基色，两个空间正好互补，用白色减去RGB空间中的某一彩色值就等于同种颜色在CMY空间中的值。 　　　红色＋青色＝绿色＋品红＝蓝色＋黄色＝白色　

（2）．YUV、YIQ、HSI与RGB之间的转换

 

 

彩色电视信号制式：

电视信号是视频处理的重要信息源。电视信号的标准也称为电视的制式。目前各国的电视制式不尽相同，不同制式之间的主要区别在于不同的刷新速度、颜色编码系统和传送频率等。目前世界上常用的电视制式有中国、欧洲使用的PAL制，美国、日本使用的NTSC制及法国等国所使用的SECAM制。

1．NTSC制

　 　NTSC(National Television Standard Committe)是美国国家电视系统委员会在1953年制定的一种兼容的彩色电视制式，是目前常用的视频标准，在美国、日本和其他国家广为使用。它定义了彩色电视机对于所接受的电视信号的解码方式、色彩的处理方式、屏幕的扫描频率。NTSC制规定水平扫描线有625条，以每秒30帧速率传送。NTSC采用隔行扫描方式，每一帧画面由两次扫描完成，每一次扫描画出一个场需要1/60秒,两个场构成一帧。

2．PAL制

　PAL(Phase Alternate Lock)是联邦德国1962年制定的一种兼容电视制式。PAL意指“相位逐行交变”，我国和大部分西欧国家都使用这种制式。PAL制规定水平扫描625行、每秒25帧、隔行扫描、每场需要1/50秒。

3．SECAM

三种彩色电视制式的主要技术指标

TV制式 NTSC PAL SECAM

帧频(Hz) 30 25 25

行/帧 525 625 625

亮度带宽(MHz) 4.2 6.0 6.0

彩色幅载波(Hz) 3.58 4.43 4.25

声音载波(MHz) 4.5 6.5 6.5

 

视频处理技术：

1.去隔行（Deinterlacing）

把隔行信号转换为逐行信号，有视频模式和电影模式。视频模式包括场

内扫描线插值处理，场间场合并处理，结合两者的自适应处理和更复杂

的运动补偿去隔行。去隔行没处理好会出现伪影现象。

2.帧频变换

各种视频格式的帧频不同，有时需要帧频变换。技术有帧或场的丢弃和

复制，时域插值，还有电影转为其他格式的2:2下拉、3:2下拉、24:1下拉等。

3.视频缩放（scaling）

由于信号和显示器的分辨率、宽高比不同，经常要进行视频缩放处理。

技术有像素复制或丢弃，线性插值，抗混重叠采样等。

4.显示增强

实现对亮度、对比度、饱和度、色调的控制。

对比度：YCbCr乘以一个常量。

亮度：Y加上一个常量

色调：Cb和Cr旋转一个色调角。

饱和度：Cb和Cr乘以一个常量。

锐度：增加高频亮度信息幅度来实现。

 

5.视频混合

利用alpha（阿尔法）混合，对alpha归一化处理，那么两个视频源 可以实现从一个画面过渡到另一个画面以及抠像。

Alpha通道是一个8位的灰度通道，该通道用256级灰度来记录图像中的透明度信息，定义透明、不透明和半透明区域，其中黑表示全透明，白表示不透明，灰表示半透明。

 

视频压缩编码：

数字视频的带宽非常高，传输与存储成本高，所以进行压缩编码。视频处理的流程（模拟信号还要AD转换）

 

压缩原理：

空间冗余： 图像在水平方向相邻像素之间、 垂直方向相邻像素之间的变化一般都很小，称为帧内相关性。

时间冗余：在相邻场或相邻帧的对应像素之间，大多数像素来说， 亮度和色度信息是基本相同的，称为帧间相关性。

视觉冗余：人眼对低频信息比对高频信息敏感，对亮度信息比对彩色信息敏感。

还有一些其他的冗余。压缩就是消除这些冗余。

 

编码格式：MPEG1、MPEG2、MPEG4、H.264、MJPEG等