主要分为以下几个步骤：
(1) 读入两张图片并分别提取SIFT特征
(2) 利用k-d tree和BBF算法进行特征匹配查找
(3) 利用RANSAC算法筛选匹配点并计算变换矩阵
(3) 图像融合
SIFT算法以及RANSAC算法都是利用的RobHess的SIFT源码，前三个步骤RobHess的源码中都有自带的示例。
(1) SIFT特征提取
直接调用RobHess源码(RobHess的SIFT源码分析：综述)中的sift_features()函数进行默认参数的SIFT特征提取，主要代码如下：
img1_Feat = cvCloneImage(img1);//复制图1，深拷贝，用来画特征点img2_Feat = cvCloneImage(img2);//复制图2，深拷贝，用来画特征点//默认提取的是LOWE格式的SIFT特征点//提取并显示第1幅图片上的特征点n1 = sift_features( img1, &feat1 );//检测图1中的SIFT特征点,n1是图1的特征点个数export_features("feature1.txt",feat1,n1);//将特征向量数据写入到文件draw_features( img1_Feat, feat1, n1 );//画出特征点cvNamedWindow(IMG1_FEAT);//创建窗口cvShowImage(IMG1_FEAT,img1_Feat);//显示//提取并显示第2幅图片上的特征点n2 = sift_features( img2, &feat2 );//检测图2中的SIFT特征点，n2是图2的特征点个数export_features("feature2.txt",feat2,n2);//将特征向量数据写入到文件draw_features( img2_Feat, feat2, n2 );//画出特征点cvNamedWindow(IMG2_FEAT);//创建窗口cvShowImage(IMG2_FEAT,img2_Feat);//显示检测出的SIFT特征点如下：
(2)利用k-d tree和BBF算法进行特征匹配查找，并根据最近邻和次近邻距离比值进行初步筛选
也是调用RobHess源码中的函数，加上之后的一些筛选处理，主要代码如下：
//根据图1的特征点集feat1建立k-d树，返回k-d树根给kd_rootkd_root = kdtree_build( feat1, n1 );Point pt1,pt2;//连线的两个端点double d0,d1;//feat2中每个特征点到最近邻和次近邻的距离int matchNum = 0;//经距离比值法筛选后的匹配点对的个数//遍历特征点集feat2，针对feat2中每个特征点feat，选取符合距离比值条件的匹配点，放到feat的fwd_match域中for(int i = 0; i < n2; i++ ){feat = feat2+i;//第i个特征点的指针//在kd_root中搜索目标点feat的2个最近邻点，存放在nbrs中，返回实际找到的近邻点个数int k = kdtree_bbf_knn( kd_root, feat, 2, &nbrs, KDTREE_BBF_MAX_NN_CHKS );if( k == 2 ){d0 = descr_dist_sq( feat, nbrs[0] );//feat与最近邻点的距离的平方d1 = descr_dist_sq( feat, nbrs[1] );//feat与次近邻点的距离的平方//若d0和d1的比值小于阈值NN_SQ_DIST_RATIO_THR，则接受此匹配，否则剔除if( d0 < d1 * NN_SQ_DIST_RATIO_THR ){ //将目标点feat和最近邻点作为匹配点对pt2 = Point( cvRound( feat->x ), cvRound( feat->y ) );//图2中点的坐标pt1 = Point( cvRound( nbrs[0]->x ), cvRound( nbrs[0]->y ) );//图1中点的坐标(feat的最近邻点)pt2.x += img1->width;//由于两幅图是左右排列的，pt2的横坐标加上图1的宽度，作为连线的终点cvLine( stacked, pt1, pt2, CV_RGB(255,0,255), 1, 8, 0 );//画出连线matchNum++;//统计匹配点对的个数feat2[i].fwd_match = nbrs[0];//使点feat的fwd_match域指向其对应的匹配点}}free( nbrs );//释放近邻数组}//显示并保存经距离比值法筛选后的匹配图cvNamedWindow(IMG_MATCH1);//创建窗口cvShowImage(IMG_MATCH1,stacked);//显示匹配结果如下：
(3) 利用RANSAC算法筛选匹配点并计算变换矩阵
此部分最主要的是RobHess源码中的ransac_xform()函数，此函数实现了用RANSAC算法筛选匹配点，返回结果是计算好的变换矩阵。
此部分中，我利用匹配点的坐标关系，对输入的两幅图像的左右关系进行了判断，并根据结果选择使用矩阵H或H的逆阵进行变换。
所以读入的两幅要拼接的图像的左右位置关系可以随意，程序中可自动调整。
主要代码如下：
//利用RANSAC算法筛选匹配点,计算变换矩阵H，//无论img1和img2的左右顺序，计算出的H永远是将feat2中的特征点变换为其匹配点，即将img2中的点变换为img1中的对应点H = ransac_xform(feat2,n2,FEATURE_FWD_MATCH,lsq_homog,4,0.01,homog_xfer_err,3.0,&inliers,&n_inliers);//若能成功计算出变换矩阵，即两幅图中有共同区域if( H ){qDebug()<<tr("经RANSAC算法筛选后的匹配点对个数：")<<n_inliers<<endl; //输出筛选后的匹配点对个数int invertNum = 0;//统计pt2.x > pt1.x的匹配点对的个数，来判断img1中是否右图//遍历经RANSAC算法筛选后的特征点集合inliers，找到每个特征点的匹配点，画出连线for(int i=0; i<n_inliers; i++){feat = inliers[i];//第i个特征点pt2 = Point(cvRound(feat->x), cvRound(feat->y));//图2中点的坐标pt1 = Point(cvRound(feat->fwd_match->x), cvRound(feat->fwd_match->y));//图1中点的坐标(feat的匹配点)//qDebug()<<"pt2:("<<pt2.x<<","<<pt2.y<<")—>pt1:("<<pt1.x<<","<<pt1.y<<")";//输出对应点对//统计匹配点的左右位置关系，来判断图1和图2的左右位置关系if(pt2.x > pt1.x)invertNum++;pt2.x += img1->width;//由于两幅图是左右排列的，pt2的横坐标加上图1的宽度，作为连线的终点cvLine(stacked_ransac,pt1,pt2,CV_RGB(255,0,255),1,8,0);//在匹配图上画出连线}cvNamedWindow(IMG_MATCH2);//创建窗口cvShowImage(IMG_MATCH2,stacked_ransac);//显示经RANSAC算法筛选后的匹配图/*程序中计算出的变换矩阵H用来将img2中的点变换为img1中的点，正常情况下img1应该是左图，img2应该是右图。此时img2中的点pt2和img1中的对应点pt1的x坐标的关系基本都是：pt2.x < pt1.x若用户打开的img1是右图，img2是左图，则img2中的点pt2和img1中的对应点pt1的x坐标的关系基本都是：pt2.x > pt1.x所以通过统计对应点变换前后x坐标大小关系，可以知道img1是不是右图。如果img1是右图，将img1中的匹配点经H的逆阵H_IVT变换后可得到img2中的匹配点*///若pt2.x > pt1.x的点的个数大于内点个数的80%，则认定img1中是右图if(invertNum > n_inliers * 0.8){CvMat * H_IVT = cvCreateMat(3, 3, CV_64FC1);//变换矩阵的逆矩阵//求H的逆阵H_IVT时，若成功求出，返回非零值if( cvInvert(H,H_IVT) ){cvReleaseMat(&H);//释放变换矩阵H，因为用不到了H = cvCloneMat(H_IVT);//将H的逆阵H_IVT中的数据拷贝到H中cvReleaseMat(&H_IVT);//释放逆阵H_IVT//将img1和img2对调IplImage * temp = img2;img2 = img1;img1 = temp;ui->mosaicButton->setEnabled(true);//激活全景拼接按钮}else//H不可逆时，返回0{cvReleaseMat(&H_IVT);//释放逆阵H_IVTQMessageBox::warning(this,tr("警告"),tr("变换矩阵H不可逆"));}}elseui->mosaicButton->setEnabled(true);//激活全景拼接按钮}else //无法计算出变换矩阵，即两幅图中没有重合区域{QMessageBox::warning(this,tr("警告"),tr("两图中无公共区域"));}经RANSAC筛选后的匹配结果如下图：以后我会去到很多很繁华或苍凉，
