OpenCV使用pthread实现多线程加速处理图像
【尊重原创，转载请注明出处】/guyuealian/article/details/81912704
目录
OpenCV使用pthread实现多线程加速处理图像
1.pthread多线程加速
2.自己封装的多线程cvThread类
POSIX线程（POSIX threads），简称Pthreads，是线程的POSIX标准。Pthread是由POSIX提出的一套通用的线程库，在linux平台下，它被广泛的支持，而在windows平台下，需要下载pthreads-w32库。之所以选择Pthreads库作为多线程处理库，是因此Android NDK开发时，可以使用pthread在C++中实现多线程处理，这样，可以方便OpenCV的图像加速处理和算法的移植。
pthreads-w32在Windows的配置方法，可参考：
/qianchenglenger/article/details/16907821
pthreads-w32-2-9-1：/download/guyuealian/10623897
其他版本的地址：ftp:///pub/pthreads-win32
关于pthread的用法，可参考这个PDF：
/download/qq_21792169/9380962
1.pthread多线程加速
下面是使用多线程（3个子线程）实现OpenCV图像加速的的方法，基本思路就是：先将图像分块，比如分成3块，每块使用一个子线程进行处理，处理完后再合并成一块图像，这样就实现了OpenCV多线程加速图像处理的方法。
// pthreadDemo.cpp : 定义控制台应用程序的入口点。//#include <stdio.h>#include <pthread.h>#include <assert.h>#include <string>#include <opencv2/opencv.hpp>using namespace std;#define THREAD_NUMS 3/*paramThread用于传递线程需要的参数值*/struct paramThread{int w;int h;uchar * data;};/*********************************************************@brief : 多线程处理函数*@param args : 多线程传入的参数*@return: void********************************************************/void * threadProcess(void* args) {pthread_t myid = pthread_self();paramThread *para = (paramThread *)args;int w = para->w;int h = para->h;cv::Mat image(h,w,CV_8UC3,(uchar *)para->data);//cv::cvtColor(image, image, cv::COLOR_BGR2RGB);cv::blur(image, image,cv::Size(7,7), cv::Point(-1, -1), cv::BORDER_REPLICATE);//printf("thread id = %d, w=%d, h=%d\n", myid, w,h);//cv::imshow("image", image); cv::waitKey(2000);pthread_exit(NULL);return NULL;}/*********************************************************@brief : 实现图像分割，*@param num : 分割个数*@param type : 0：垂直分割(推荐)，1：水平分割（不推荐）*@return: vector<cv::Mat>* PS：使用水平分割时（type=1），处理完后必须调用catImage进行拼接，* 使用垂直分割时（type=0），可以不进行catImage，因为是对原图进行操作的********************************************************/vector<cv::Mat> splitImage(cv::Mat image, int num,int type) {int rows = image.rows;int cols = image.cols;vector<cv::Mat> v;if (type == 0) {//垂直分割for (size_t i = 0; i < num; i++) {int star = rows / num*i;int end = rows / num*(i + 1);if (i == num - 1) {end = rows;}//cv::Mat b = image.rowRange(star, end);v.push_back(image.rowRange(star, end));}}else if (type == 1) {//水平分割for (size_t i = 0; i < num; i++){int star = cols / num*i;int end = cols / num*(i + 1);if (i == num - 1) {end = cols;}//cv::Mat b = image.colRange(star, end);/*解决水平分割的Bug:必须clone()*/v.push_back(image.colRange(star, end).clone());}}return v;}/*********************************************************@brief : 实现图像拼接，*@param v : *@param type : 0：垂直拼接，1：水平拼接*@return: Mat********************************************************/cv::Mat catImage(vector<cv::Mat> v, int type) {cv::Mat dest= v.at(0);for (size_t i = 1; i < v.size(); i++){if (type == 0)//垂直拼接{cv::vconcat(dest, v.at(i), dest);}else if (type == 1)//水平拼接{cv::hconcat(dest, v.at(i), dest);}}return dest;}int main() {string path = "D:\\imageEnhance\\images\\test.jpg";cv::Mat src = cv::imread(path);printf("image size = w=%d, h=%d\n", src.cols, src.rows);cv::Mat image1 = src.clone();cv::Mat image2 = src.clone();cv::imshow("src", src); cv::waitKey(30);double T0 = static_cast<double>(cv::getTickCount());/*不使用多线程图像处理*/cv::blur(image1, image1, cv::Size(7, 7));double T1 = static_cast<double>(cv::getTickCount());/*使用多线程图像处理*/int type = 0;vector<cv::Mat> v = splitImage(image2, THREAD_NUMS, type);paramThread args[THREAD_NUMS];pthread_t pt[THREAD_NUMS];//创建THREAD_NUMS个子线程for (size_t i = 0; i < THREAD_NUMS; i++){args[i].h = v.at(i).rows;args[i].w = v.at(i).cols;args[i].data = v.at(i).data;pthread_create(&pt[i], NULL, &threadProcess, (void *)(&args[i]));}/*等待全部子线程处理完毕*/for (size_t i = 0; i < THREAD_NUMS; i++){pthread_join(pt[i], NULL);}cv::Mat dest = catImage(v, type);double T2 = static_cast<double>(cv::getTickCount());printf(" run times = %3.3fms\n", (T1 - T0)*1000 / cv::getTickFrequency());printf("Thread run times = %3.3fms\n,", (T2 - T1)*1000 / cv::getTickFrequency());cv::imshow("dest", dest); cv::waitKey(30);cv::imshow("image2", image2); cv::waitKey(30);cv::waitKey(0);return 0;}
可以看到，对于一张3000*1877的大图片，使用3个线程并行处理会比单线程处理快了将近4倍的速度。但比较尴尬的是，由于使用了图像分块处理，进行图像blur模糊时，边界会出现不规则的像素，这时拼接在一起，会导致图像拼接的边缘出现横条的现象，见下面的模糊图。
一种决解的方法就是，可以在图像分割时，根据kernel size的大小的适当padding像素，处理完再cutting这些padding的像素，这部分我还没有实现，有兴趣的可以搞搞哈。
这种使用pthread实现多线程图像处理加速方法，比较适合算法过程跟边界处理无关的情况，如RGB转BGR，Gamma变换这些图像处理操作。
2.自己封装的多线程cvThread类
为了方面以后调用，这里封装了一个cvThread类：
cvThread.h：
#pragma once#include <stdio.h>#include <pthread.h>#include <assert.h>#include <string>#include <opencv2/opencv.hpp>using namespace std;class cvThread{public:cvThread();~cvThread();/*paramThread用于传递线程需要的参数值*/struct paramThread{int w;int h;uchar * data;};/*********************************************************@brief : 多线程要处理的图像操作*@param args : 多线程传入的参数*@return: void********************************************************/static void * cvThreadBlur(void* args);/*********************************************************@brief : 多线程处理函数*@param image : 输入/输出Mat图像*@param type : 分割类型0：垂直分割(推荐)，1：水平分割（不推荐）*@param thread_num : 多线程个数*@return: void********************************************************/void cvThreadProcess(cv::Mat &image, const int type, const int thread_num);void cvThreadProcess(cv::Mat &image);/*********************************************************@brief : 实现图像分割，*@param num : 分割个数*@param type : 0：垂直分割(推荐)，1：水平分割（不推荐）*@return: vector<cv::Mat>* PS：使用水平分割时（type=1），处理完后必须调用catImage进行拼接，* 使用垂直分割时（type=0），可以不进行catImage，因为是对原图进行操作的********************************************************/vector<cv::Mat> splitImage(cv::Mat image, int num, int type);/*********************************************************@brief : 实现图像拼接，*@param v :*@param type : 0：垂直拼接，1：水平拼接*@return: Mat********************************************************/cv::Mat catImage(vector<cv::Mat> v, int type);};
cvThread.cpp：
#include "cvThread.h"cvThread::cvThread(){}cvThread::~cvThread(){}/*********************************************************@brief : 多线程处理函数*@param args : 多线程传入的参数*@return: void********************************************************/void * cvThread::cvThreadBlur(void* args) {pthread_t myid = pthread_self();paramThread *para = (paramThread *)args;int w = para->w;int h = para->h;cv::Mat image(h, w, CV_8UC3, (uchar *)para->data);/***************************************************//*这里实现多线程要处理的图像操作*/cv::blur(image, image, cv::Size(7, 7), cv::Point(-1, -1), cv::BORDER_REPLICATE);/***************************************************/pthread_exit(NULL);return NULL;}#define THREAD_NUMS 4void cvThread::cvThreadProcess(cv::Mat &image) {/*使用多线程图像处理*/int type = 0;vector<cv::Mat> v = splitImage(image, THREAD_NUMS, type);paramThread args[THREAD_NUMS];pthread_t pt[THREAD_NUMS];//创建thread_num个子线程for (size_t i = 0; i < THREAD_NUMS; i++){args[i].h = v.at(i).rows;args[i].w = v.at(i).cols;args[i].data = v.at(i).data;pthread_create(&pt[i], NULL, &cvThreadBlur, (void *)(&args[i]));}/*等待全部子线程处理完毕*/for (size_t i = 0; i < THREAD_NUMS; i++){pthread_join(pt[i], NULL);}cv::Mat dest = catImage(v, type);}void cvThread::cvThreadProcess(cv::Mat &image,const int type=0,const int thread_num=4) {/*使用多线程图像处理*/vector<cv::Mat> v = splitImage(image, thread_num, type);paramThread *args = new paramThread[thread_num];pthread_t *pt = new pthread_t[thread_num];//创建thread_num个子线程for (size_t i = 0; i < thread_num; i++){args[i].h = v.at(i).rows;args[i].w = v.at(i).cols;args[i].data = v.at(i).data;pthread_create(&pt[i], NULL, &cvThreadBlur, (void *)(&args[i]));}/*等待全部子线程处理完毕*/for (size_t i = 0; i < thread_num; i++){pthread_join(pt[i], NULL);}/*PS：使用水平分割时（type = 1），处理完后必须调用catImage进行拼接，使用垂直分割时（type = 0），可以不进行catImage，因为是对原图进行操作的*/if (type==1){image = catImage(v, type);}delete []args;delete []pt;}/*********************************************************@brief : 实现图像分割，*@param num : 分割个数*@param type : 0：垂直分割(推荐)，1：水平分割（不推荐）*@return: vector<cv::Mat>* PS：使用水平分割时（type=1），处理完后必须调用catImage进行拼接，* 使用垂直分割时（type=0），可以不进行catImage，因为是对原图进行操作的********************************************************/vector<cv::Mat> cvThread::splitImage(cv::Mat image, int num, int type) {int rows = image.rows;int cols = image.cols;vector<cv::Mat> v;if (type == 0) {//垂直分割for (size_t i = 0; i < num; i++) {int star = rows / num*i;int end = rows / num*(i + 1);if (i == num - 1) {end = rows;}//cv::Mat b = image.rowRange(star, end);v.push_back(image.rowRange(star, end));}}else if (type == 1) {//水平分割for (size_t i = 0; i < num; i++) {int star = cols / num*i;int end = cols / num*(i + 1);if (i == num - 1) {end = cols;}//cv::Mat b = image.colRange(star, end);/*解决水平分割的Bug:必须clone()*/v.push_back(image.colRange(star, end).clone());}}return v;}/*********************************************************@brief : 实现图像拼接，*@param v :*@param type : 0：垂直拼接，1：水平拼接*@return: Mat********************************************************/cv::Mat cvThread::catImage(vector<cv::Mat> v, int type) {cv::Mat dest = v.at(0);for (size_t i = 1; i < v.size(); i++){if (type == 0)//垂直拼接{cv::vconcat(dest, v.at(i), dest);}else if (type == 1)//水平拼接{cv::hconcat(dest, v.at(i), dest);}}return dest;}
测试方法main.cpp:
#include <stdio.h>#include <pthread.h>#include <assert.h>#include <string>#include <opencv2/opencv.hpp>#include "cvThread.h"using namespace std;int main() {string path = "D:\\imageEnhance\\images\\8-1.jpg";cv::Mat src = cv::imread(path);printf("image size = w=%d, h=%d\n", src.cols, src.rows);cv::Mat image1 = src.clone();cv::Mat image2 = src.clone();cv::imshow("src", src); cv::waitKey(30);double T0 = static_cast<double>(cv::getTickCount());/*不使用多线程图像处理*/cv::blur(image1, image1, cv::Size(7, 7));double T1 = static_cast<double>(cv::getTickCount());/*使用多线程图像处理*/cvThread cvth;cvth.cvThreadProcess(image2,0,4);double T2 = static_cast<double>(cv::getTickCount());printf(" run times = %3.3fms\n", (T1 - T0)*1000 / cv::getTickFrequency());printf("Thread run times = %3.3fms\n,", (T2 - T1)*1000 / cv::getTickFrequency());cv::imshow("image1", image1); cv::waitKey(30);cv::imshow("image2", image2); cv::waitKey(30);cv::waitKey(0);return 0;}
