逻辑回归学习的前前后后2

初探NO.1—逻辑回归学习的前前后后2

有些人觉得数学已经很复杂了，那么如果把它带入实现的编码环节是不是更加困难？

实际来讲确实有一些困难，但是稍作探究，就会发现其中的规律和套路。既然如此，不如耐心地把这一道心里上的坎过去，，这样才是真正的进步。

这一篇博客的代码来自于《机器学习pthon实战》我们借着上一篇的逻辑回归，看一看当算法进入实现时候是如何做到的吧。

首先，我们运用python时候首先要下载numpy包，地址如下：

~gohlke/pythonlibs/（找到numpy看着python版本直接下）

有了这个python工具就可以一定程度上与matlab比肩。

第一步作为整个模型的基础，sigmoid函数贯穿始终。Python的方法也是定义的十分简单：

def sigmoid(inX):return 1.0/(1+exp(-inX)) 第二步我们要做的就是用算法将这个模型做到最佳，先给出最简单的梯度下降编码过程：def gradAscent(dataMatIn, classLabels):dataMatrix = mat(dataMatIn)#convert to NumPy matrixlabelMat = mat(classLabels).transpose() #convert to NumPy matrixm,n = shape(dataMatrix)alpha = 0.001maxCycles = 500weights = ones((n,1))for k in range(maxCycles):#heavy on matrix operationsh = sigmoid(dataMatrix*weights)#matrix multerror = (labelMat – h)#vector subtractionweights = weights + alpha * dataMatrix.transpose()* error #matrix multreturn weights

这里我们对这一段代码进行一下理解：

方法的前面3行属于数据处理过程，分别矩阵化了数据集和结果集，并且找到了数据集的维度个数据个数。

从第4行开始，定义了其中的参数，首先alpha作为一个学习速率的变量，它表征着每一次迭代梯度的学习量，为下图公式的

maxcycles是最大的迭代次数，也就是说，当它循环500次无论计算结果是否符合要求都将终止计算。当然，我们为了提高计算效率，也可以设置一个容忍度e，当k+1次的结果相比于k次不超过e时候，也可以终止结算。

weights是我们真正要求的权重，全部初始为1

在下面的循环中，这个sigmoid会被反复的应用，流程如下：

1自己求出一个结果，作为本轮的结果

2拿这个结果和真正的结果集labelMat做比较做成error的向量，其实就相当于求出了，我们说的梯度。（大家结合梯度的定义和计算机里差分运算不难理解）

3拿这个梯度乘以学习的速率，与k次的权重进行结合作为k+1次的结果参与下一次运算。

bingo！其实这就是逻辑回归最精髓的地方，短短几行代码解决了所有的问题。最后我们为了这个模型的完整性做了几步数据的整理和校验，代码如下：

def classifyVector(inX, weights):prob = sigmoid(sum(inX*weights))if prob > 0.5: return 1.0else: return 0.0这一个方法规定，如果计算结果>0.5那么判定为1，如果计算结果<0.5。那么判定为负值。

def loadDataSet():dataMat = []; labelMat = []fr = open('testSet.txt')for line in fr.readlines():lineArr = line.strip().split()dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])labelMat.append(int(lineArr[2]))return dataMat,labelMat这个方法为文本数据量身定做，是为了整理出来pythonlist这个数据结构规定的数据，如果有函数不明白请百度一下这个python函数即可。

def colicTest():frTrain = open('horseColicTraining.txt'); frTest = open('horseColicTest.txt')trainingSet = []; trainingLabels = []for line in frTrain.readlines():currLine = line.strip().split('\t')lineArr =[]for i in range(21):lineArr.append(float(currLine[i]))trainingSet.append(lineArr)trainingLabels.append(float(currLine[21]))trainWeights = gradAscent(array(trainingSet), trainingLabels)print trainWeightserrorCount = 0; numTestVec = 0.0for line in frTest.readlines():numTestVec += 1.0currLine = line.strip().split('\t')lineArr =[]for i in range(21):lineArr.append(float(currLine[i]))if int(classifyVector(array(lineArr), trainWeights))!= int(currLine[21]):errorCount += 1errorRate = (float(errorCount)/numTestVec)print "the error rate of this test is: %f" % errorRatereturn errorRate这个方法就是调用了之前的方法，相当于一个程序的主函数，只不过返回的结果是一个错误率errorRate。我们可以用这个来看出这个模型的好坏~

最后给出数据集和结果集，大家快去复制代码去到python里实践一下~

测试集：点这里

训练集：点这里

伟人之所以伟大，是因为他与别人共处逆境时，

相关文章：

你感兴趣的文章：

标签云：