欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。
开一个机器学习方法科普系列，也做基础回顾之用。学而时习之。 content: linear regression, Ridge, Lasso Logistic Regression, Softmax Kmeans, GMM, EM, Spectral Clustering Dimensionality Reduction: PCA、LDA、Laplacian Eigenmap、 LLE、 Isomap（修改前面的blog） SVM C3、C4.5 Apriori，FP PageRank minHash, LSH Manifold Ranking，EMR 待补充 … …
开始几篇将详细介绍一下线性回归linear regression，以及加上L1和L2的正则的变化。后面的文章将介绍逻辑回归logistic regression，以及Softmax regression。为什么要先讲这几个方法呢？因为它们是机器学习/深度学习的基石（building block）之一，而且在大量教学视频和教材中反复被提到，所以我也记录一下自己的理解，方便以后翻阅。这三个方法都是有监督的学习方法，线性回归是回归算法，而逻辑回归和softmax本质上是分类算法（从离散的分类目标导出），不过有一些场合下也有混着用的——如果目标输出值的取值范围和logistic的输出取值范围一致。
ok，废话不多说。
1、Linear Regression
可以说基本上是机器学习中最简单的模型了，但是实际上其地位很重要（计算简单、效果不错，在很多其他算法中也可以看到用LR作为一部分）。
定义一下一些符号表达，，我们通常习惯用表示数据矩阵，其中表示数据的label，这里只考虑每个样本一类的情况。
线性回归的模型是这样的，对于一个样本，它的输出值是其特征的线性组合：
它不同于旅游，那需要一个风景稍微漂亮的地方，
