2、图像处理基础

回顾

Mat

行 列 通道  维度

row col channel dim

在opencv里面的维度一定是大于等于2的，比如上面的一个行向量就是一个1*7的“二维向量”。

在Mat里面除了上面四个比较常用的量以外，还有flag变量，它是在Mat 的头里面，包含了图像的维度，深度（是short类型、char类型还是double类型的）；除了flag还有一个data的指针，它是指向内存中数据所在地址的；还有一个refcount指针，引用计数指针，看有多少指针指向了这个地址。

第二讲的内容开始

在Mat中有一个data指针，data指针指向的是数据在内存中的首地址，

M.step[1]为每一行的列元素的大小！！！

由于上面的行和列表达起来有歧义，故其row和col都表示为-1.上面的矩阵为3*4*6的矩阵。

上面的step[0]为一个面的大小，为4*6*（4*16/8）=192bytes

step[1]为6*（4*16/8）=48

step[2]为4*(16/8)=8

例子：

Mat m(400,400,CV_8U,Scalar(0));

定义一个单通道的400*400大小的矩阵，矩阵元素初值为0，即全黑的图像

#include <iostream>

 #include<highgui.h> 

#include "opencv2/opencv.hpp" 

using namespace cv; 

using namespace std;

int main(int argc, char* argv[])

{

Mat m(400,400,CV_8U,Scalar(0));
 for (int col = 0; col < 400; col++)
 {
  for (int row = 195; row < 205; row++)
  {
   cout << (int)(*(m.data + m.step[0] * row + m.step[1] * col)) << "  ==>";
   //获取第[row,col]个像素点的地址并用*符号解析
   *(m.data + m.step[0] * row + m.step[1] * col) = 255;
   cout << (int)(*(m.data + m.step[0] * row + m.step[1] * col)) << endl;
  }
 }
 imshow("canvas",m);
 cvWaitKey();
 getchar();
 return 0;
}

 

例子：

Vec3i color定义一个变量，它是Vector类型的，有3个元素，且是int型的；

注意cvWaitKey()可以传参，单位是毫秒；

#include <iostream> #include<highgui.h> 

#include "opencv2/opencv.hpp" 

using namespace cv;

 using namespace std;

int main(int argc, char* argv[])

 {

Mat m = imread("lena.jpg");
 int *p_address;
 Vec3i color;
 for (int col = 20; col < 40; col++)
 {
  for (int row = 2; row < 20; row++)
  {
   color[0] = (int)(*(m.data+m.step[0]*row+m.step[1]*col));
   color[1] = (int)(*(m.data + m.step[0] * row + m.step[1] * col+m.elemSize1()));
   color[2] = (int)(*(m.data + m.step[0] * row + m.step[1] * col + m.elemSize1()*2));
   //获取第[row,col]个像素点的地址并用*符号解析
   cout << color[0] << "," << color[1] << "," << color[2] << "  ==>";
   color[0] = 255;
   color[1] = 0;
   color[2] = 0;
   *(m.data + m.step[0] * row + m.step[1] * col) = color[0];
   *(m.data + m.step[0] * row + m.step[1] * col + m.elemSize1()) = color[1];
   *(m.data + m.step[0] * row + m.step[1] * col + m.elemSize1() * 2) = color[2];
   cout << (int)(*(m.data + m.step[0] * row + m.step[1] * col)) << (int)(*(m.data + m.step[0] * row + m.step[1] * col + 1)) << (int)(*(m.data + m.step[0]*row + m.step[1] * col + 2)) << endl;
  }
 }
 imshow("canvas",m);
 cvWaitKey();
 getchar();
 return 0;
}

 

结果：

上面的数据类型是错误的！！！！！

opencv的模板类Mat_类

例子：

#include <iostream>

 #include<highgui.h>

 #include "opencv2/opencv.hpp" 

using namespace cv; 

using namespace std;

int main(int argc, char* argv[]) {

Mat m = imread("lena.jpg");
 Mat_<Vec3b> m2 = m;
 //for()循环画一个红色的实心圆
 for (int y = 21; y < 42; y++)
 {
  for (int x = 2; x < 21; x++)
  {
   if (pow(double(x - 11), 2) + pow(double(y - 31), 2) - 64.0 < 0.00000000001)
   {
    //Mat_模板类实现了对()的重载，可以定位到一个像素
    m2(x, y) = Vec3b(0,0,255);
   }
  }
 }imshow("canvas",m);
 cvWaitKey();
 getchar();
 return 0;
}

 

结果如下：

注意pow函数的含义：pow(src,double p,dst);//如果p是整数dst(I)=src(I)^p;其他|src(I)|^p

像素值的读写6

上面是进行图像的量化，把原来的像素点（之前是0-255），现在不需要那么高的像素级，把它降低10个等级，原来的像素级除以10再乘以10；

查找表，在上面先定义了一个uchar型的数组，uchar table[256];然后再进行像素量化降级，可以对比用二值图像来理解，然后再建立一个1*256的一个数组lookuptable。LUT（源图像输入，查找表，输出图像）。它只有在有映射关系的时候才能用到，是一个特例。

 

在2.4以前，有这两种数据类型IplImage和CvMat，我们现在都用Mat，然后有一些例程，它的形式是IplImage *p，这种图像指针类型的，我们可以用&iplimg这种引用的方式转换为Mat类型。

同时也支持这两种方式互转，

关于图像的读取

Mat imread(const string &filename,int flags=1)

imread()函数，返回值是一个Mat类型，它读取失败里面的*data是指向NULL的，建议不要使用指针来判断是否为NULL来说明是否读取成功；它自己有一个成员函数来判断的isempty();

flags只要大于0就代表返回3通道图像，灰度图像就会强制转化为3通道，flag为0，强制转化为单通道；flag小于0，那么是什么就读什么，不进行转换；

有一种图像格式叫做PNM，PPM,PGM,可移植像素格式，它是纯文本的格式，常见的是PGM的格式；

imwrite()是存储文件

注意并不是所有的Mat都可以存储成图像，目前只支持8U的单通道或者3通道格式，如果想把16U的转换成功的话，就只能用PNG格式或者JPEG2000，注意一下。

如果这个文件夹下有这个文件，它是直接覆盖的，不会有任何提醒；

首先来看看imwrite()函数的具体用法。

　　bool imwrite(const string& filename, InputArray img, const vector<int>& params=vector<int>() )

　　该函数是把程序中的Mat类型的矩阵保存为图像到指定位置。

　　参数filename为所需保存图像的文件目录和文件名。这里的文件名需要带有图像格式后缀的，目前OpenCV该函数只支持JPEG,PNG,PPM,PGM,PBM，TIFF等。并不是所有Mat类型都支持。

　　img参数为图像数据来源，其类型为Mat。注意也不是所有格式的Mat型数据都能被使用保存为图片，目前OpenCV主要只支持单通道和3通道的图像，并且此时要求其深度为8bit和16bit无符号(即CV_16U)。所以其他一些数据类型是不支持的，比如说float型等。如果Mat类型数据的深度和通道数不满足上面的要求，则需要使用convertTo()函数和cvtColor()函数来进行转换。convertTo()函数负责转换数据类型不同的Mat，即可以将类似float型的Mat转换到imwrite()函数能够接受的类型。而cvtColor()函数是负责转换不同通道的Mat，因为该函数的第4个参数就可以设置目的Mat数据的通道数（只是我们一般没有用到它，一般情况下这个函数是用来进行色彩空间转换的）。另外也可以不用imwrite()函数来存图片数据，可以直接用通用的XML IO接口函数将数据存在XML或者YXML中。

　　参数params是用来设置对应图片格式的参数的，因为一般情况下这些图片格式都是经过了压缩的，这里就是设置这些压缩参数来控制图片的质量。该参数是一个vector<int>类型，里面分别存入paramId_1, paramValue_1, paramId_2, paramValue_2, ... 也就是说存入一对属性值。如果不设置该参数的话，则程序会自动根据所保存的图像格式采用一个默认的参数。

介绍一下，打开外设，或者读取视频的一个例子

VideoCapture这样一个类，有一个构造函数直接指定设备的编号cap(0);注意在工程的时候通过hub连接两个或者更多的时候，其ID可能就会是同一个，出现打不开的情况。

#include<iostream>
#include"opencv2/opencv.hpp"
#include<stdio.h>
using namespace std;
using namespace cv;
int main(int argc, char *argv[])
{
 //打开摄像头
 VideoCapture cap(0);
 //打开视频文件 
 //VideoCapture cap("video.short.raw.avi");
 //检查是否成功打开
 if (!cap.isOpened())
 {
  cerr << "can not open a camera or file."<<endl;
  return -1;
 }
 Mat edges;
 //创建窗口
 namedWindow("edges",1);
 for (;;)
 {
  Mat frame;
  //从cap中读一帧，存到frame
  cap >> frame;
  //如果未读到图像
  if (frame.empty())
   break;
  //将读到的图像转为灰度图
  cvtColor(frame,edges,CV_BGR2GRAY);
  //进行边缘提取操作
  Canny(edges,edges,0,30,3);
  //显示结果
  imshow("edges",edges);
  //等待30s，如果按键则退出循环
  if (waitKey(30) >= 0)
   break;
 }
 //退出时会自动释放 cap 中占用资源 
 return 0;
}

 

上面的例子是读，下面的例子是写

#include<iostream>
#include"opencv2/opencv.hpp"
#include<stdio.h>
using namespace std;
using namespace cv;
int main(int argc, char *argv[])
{
 //定义视频的宽度和高度
 Size s(320, 240);
 //创建writer，并制定FOURCC及FPS等参数
 VideoWriter writer = VideoWriter("myvedio.avi",CV_FOURCC('M','J','P','G'),25,s);
 //检查是否成功创建
 if (!writer.isOpened())
 {
  cerr << "Can not create video file.\n"<<endl;
  return -1;
 }
 //视频帧
 Mat frame(s,CV_8UC3);
 for (int i = 0; i < 100; i++)
 {
  //将图像置为黑色
  frame = Scalar::all(0);
  //将整数i转为i字符串类型
  char text[128];
  sprintf_s(text,"%d",i);
  //将数字绘到画面上
  putText(frame,text,Point(s.width/3,s.height/3),FONT_HERSHEY_SCRIPT_SIMPLEX,3,Scalar(0,0,255),3,8);
  //将图像写入视频
  writer << frame;
 }
 VideoCapture cap("myvedio.avi");
 for (int i = 0; i < 100; i++)
 {
  Mat frame;
  //从 cap 中读一帧，存到 frame 
  cap >> frame;
  //如果未读到图像 
  if (frame.empty())
   break;
  //显示结果 
  imshow("frame", frame);
  waitKey(1000);
 }
 //退出程序时自动关闭视频文件
 waitKey(0);
 return 0;
}

 

 

本课程涉及到深度学习与机器学习相关的内容，所以要学习一下python

 python环境的安装，建议Anaconda+Ipython+(PyScripter)(版本2.7比较流行或者3.5都可以)

print函数在2.7没有括号，在3.5有括号

在2.7版本

x=3，x/2=1,是整型

在3.5版本

x=3,x/2=1.5是浮点型

机器学习

机器学习：要随机得观测数据，要随机得对观测数据进行采样，要学习数据的性质，其实也叫做特征feature，以及属性，属性通常叫做label，他是属于那一个类别，再来预测新的未知的数据的属性。在机器学习当中，我们通常要把数据分成两部分，一部分叫做training（训练集用来学习数据特征），另一部分叫做test（测试集用来测试算法是否准确）。机器学习的问题主要分为

监督学习和非监督学习

监督学习除了数据本身以外，还有额外的属性部分，也就是说会有一些feature，然后再额外的会有一些label，这样的问题分为分类和回归两部分；分类问题可以理解为输出是离散数据；回归问题输出的就是连续的，比如说根据年龄、体重，来预测身高。监督学习主要是分类，尽量把问题转化为分类问题。

如果输入没有额外的label等，那么就叫做非监督学习，主要分为聚类（kmeans）和核密度估计。

 

 

Knn-Grassroots Democracy

当有一个未知物体的时候，在我们做出推荐之前会考虑一下它周围的数据的label是属于那个类别，从而觉得这个数据是属于那个类别的。

KNN算法应用得背景是字符识别，最常见的数据库在网站http://yann.lecun.com/exdb/mnist

 

knn作为一种机器学习算法也分为两部分，训练算法识别特征的类别，然后在训练集上测试；KNN的训练部分就是把训练集和标签全部存储，比如说，给出5这样一个训练的图像

，

它的label就是5。会有一个其他图片比如说是0，它的label就是0，

KNN就会把这两个属性全都存储下来，它就学习完了，只要把数据全部喂给算法，它就已经完成识别了，什么操作都没有，接下来就是测试部分，只要提供测试集，没有标签，在指定K的大小之后，让算法来猜它是什么数据。它是没有训练的，平时不学习，等到测试的时候问题就来了，它就把所有的训练集跟测试数据进行一一比对，比对就涉及到一个距离问题，测试两个向量的距离distance。

下面将一下聚类算法

上面图在轮廓上是比较相似的，但是在语义上是不同的。

讲到聚类算法必须提到K-means算法