用户名：ronnyyoung 文章数：12 评论数：0
访问量：240：140：190：2 注册日期：2014-04-11
OpenCV成长之路：视频的处理 视频中包含的信息量要远远大于图片，对视频的处理分析也越来越成为计算机视觉的主流，而本质上视频是由一帧帧的图像组成，所以视频处理最终还是要归结于图像处理，但在视频处理中，有更多的时间维的信息可以利用。本文主要介绍OpenCV在处理视频时的一些基本函数。
OpenCV为视频的读入提供了一个类VideoCapture，下面我们说明一下类的几个重要的方法：
1，打开一段视频或默认的摄像头
有两种方法，一种是在定义类的时候，一种是用open()方法。
VideoCapture capture("../video.avi"); // 方法1 capture.open("../video.avi"); // 方法2 |
如果把文件名换为设置ID，则可打开摄像头，默认摄像头为0。
2，获取视频帧
获取视频帧可以有多种方法
capture.read(frame); capture.grab(); capture.retrieve(frame); capture>>frame; |
3，获取视频的参数
一个视频有很多参数，比如：帧率、总帧数、尺寸、格式等，VideoCapture的get方法可以获取大量这些参数。
double rate=capture.get(CV_CAP_PROP_FPS); // 获取 long nFrame=static_cast<long>(capture.get(CV_CAP_PROP_FRAME_COUNT)); // 获取总帧数 |
更加相关的参数可以参考手册。
4，设置视频帧的读取位置
VideoCapture类的set方法可以允许我们取出视频中某个位置的帧，它有一些参数，可以按时间，也可以按帧号，还可以按视频长短的比例。
double position=100.0; capture.set(CV_CAP_PROP_POS_FRAMES,position); double position=1e6; capture.set(CV_CAP_PROP_POS_MSEC,position); double position=0.5; capture.set(CV_CAP_PROP_POS_AVI_RATIO,position); |
当然，set方法仅用于取视频帧的位置，还可以设置视频的帧率、亮度。
下面是一个将canny边缘检测应用于视频的程序：
VideoCapture capture("../track.avi"); if(!capture.isOpened()) double rate=capture.get(CV_CAP_PROP_FPS); bool stop(false); namedWindow("Canny Video"); int delay=1000/rate; if(!capture.read(frame)) Canny(frame,result,100,200); threshold(result,result,128,255,THRESH_BINARY); imshow("Canny Video",result); if(waitKey(delay)>=0) capture.release(); |
视频的写入与读取类似，OpenCV中是使用VideoWriter类来实现的，这个类有几个方法，都很简单。除了构造函数外，提供了open、IsOpen、write、和重载操作符<<
值得注意的是OpenCV里对视频的编码解码等支持并不是很良好，所以不要希望用这个类去实现摄像头图像的获取与转码，有兴趣的可以参考FFmpeg库。
VideoWriter::VideoWriter(const string& filename, int fourcc, double fps, Size frameSize, bool isColor=true); bool VideoWriter::open(const string& filename, int fourcc, double fps, Size frameSize, bool isColor=true); |
上面是类的构造函数与open方法，它们的参数相同，首先指定文件名，第二个参数是编码格式，OpenCV里提供了很多种的编码格式，如CV_FOURCC('P','I','M','1')是MPEG-1格式，CV_FOURCC('M','G','P','G')为motion-jpeg格式。
用户名：ronnyyoung 文章数：12 评论数：0
访问量：242：140：190：2 注册日期：2014-04-11
OpenCV成长之路：特征点检测与图像匹配 特征点又称兴趣点、关键点，它是在图像中突出且具有代表意义的一些点，通过这些点我们可以用来识别图像、进行图像配准、进行3D重建等。本文主要介绍OpenCV中几种定位与表示关键点的函数。
一、Harris角点
角点是图像中最基本的一种关键点，它是由图像中一些几何结构的关节点构成，很多都是线条之间产生的交点。Harris角点是一类比较经典的角点类型，它的基本原理是计算图像中每点与周围点变化率的平均值。
其中I(x+u,y+u)代表了点(x,y)邻域点的灰度值。通过变换可以将上式变化为一个协方差矩阵求特征值的问题(2)，具体数学原理本文不过多描述。
OpenCV的Hairrs角点检测的函数为cornerHairrs()，但是它的输出是一幅浮点值图像，浮点值越高，表明越可能是特征角点，我们需要对图像进行阈值化。我们使用一张建筑图像来显示：
Mat image=imread("../buliding.png"); cvtColor(image,gray,CV_BGR2GRAY); Mat cornerStrength; cornerHarris(gray,cornerStrength,3,3,0.01); threshold(cornerStrength,cornerStrength,0.001,255,THRESH_BINARY); |
首先我们来说明一下cornerHairrs()这个函数参数的意思：
前2参数是输入与输出，输入是一个灰度图像，输出是一个浮点图像，第三个参数指定角点分析的邻域，第4个参数实际上在角点求取过程中计算梯度图像的核窗口大小，第5个参数是它原理公式(2)中的一个系数。
从上面的例子的结果我们可以看到，有很多角点都是粘连在一起的，我们下面通过加入非极大值抑制来进一步去除一些粘在一起的角点。
非极大值抑制原理是，在一个窗口内，如果有多个角点则用值最大的那个角点，其他的角点都删除，窗口大小这里我们用3*3，程序中通过图像的膨胀运算来达到检测极大值的目的，因为默认参数的膨胀运算就是用窗口内的最大值替代当前的灰度值。程序的最后使用了一个画角点的函数将角点显示在图像中，这个函数与本系列第5篇中画角点的函数是一致的。
Mat image=imread("../buliding.png"); cvtColor(image,gray,CV_BGR2GRAY); Mat cornerStrength; cornerHarris(gray,cornerStrength,3,3,0.01); double maxStrength; double minStrength; minMaxLoc(cornerStrength,&minStrength,&maxStrength); // 膨胀图像，最找出图像中全部的局部最大值点 dilate(cornerStrength,dilated,Mat()); // compare是一个逻辑比较函数，返回两幅图像中对应点相同的二值图像 compare(cornerStrength,dilated,locaMax,CMP_EQ); double qualityLevel=0.01; double th=qualityLevel*maxStrength; // 阈值计算 threshold(cornerStrength,cornerMap,th,255,THRESH_BINARY); cornerMap.convertTo(cornerMap,CV_8U); bitwise_and(cornerMap,locaMax,cornerMap); drawCornerOnImage(image,cornerMap); namedWindow("result"); imshow("result",image); void drawCornerOnImage(Mat& image,const Mat&binary) Mat_<uchar>::const_iterator it=binary.begin<uchar>(); Mat_<uchar>::const_iterator itd=binary.end<uchar>(); for(int i=0;it!=itd;it++,i++) circle(image,Point(i%image.cols,i/image.cols),3,Scalar(0,255,0),1); |
现在我们得到的效果就比默认的函数得到的结果有相当的改善。
由于cornerHarris的一些缺点，OpenCV提供了另一个相似的函数GoodFeaturesToTrack()它用角点间的距离限制来防止角点粘连在一起。
goodFeaturesToTrack(image,corner, 
订阅：
博文评论 (Atom)
|
没有评论:
发表评论