Part3文本聚类
分类和聚类算法，都是数据挖掘中最常接触到的算法，分类聚类算法分别有很多种。可以看下下面两篇文章对常见的分类聚类算法的简介：
分类算法：
聚类算法：
文本分类聚类会要用到这些算法去实现，暂时不用深究算法细节，R中已经有成熟的可以直接调用的这些算法了。大概说下分类和聚类的差异，照我的理解，分类算法和聚类算法最后实现的效果是相同的，都是给一个集合划分成几个类别。不同的是分类算法是根据已知的确定类别去做划分，所以分类需要训练集，有训练、测试、预测这个过程；而聚类则未规定类别，它是基于给定集合的里面的内容，根据内容的相似度去给集合划分成指定的几个类（你可以指定划分成多少个类，而不是指定有哪些类），这些相似度的测量就是聚类算法的核心，这个度量标准可以是欧几里得距离、是曼哈顿距离、是切比雪夫距离等等。它们分别叫做有监督分类和无监督分类。
还是用Part2里面的例子。做聚类不需要训练集，将文本内容做完分词处理，也就是Part2里面2.对某品牌官微做分词，这里处理完得到的结果hlzjTemp，用这个做接下来的聚类工作。下图（图片来源：玩玩文本挖掘）是一个文本挖掘的过程，不管是分类还是聚类，都要经历前面一个过程将文本转为为Tem-Document Matrix。然后再做后续分析Analysis，及分类或者聚类。
聚类算法是针对数值型变量的，先要将文本数据转换为matrix—数据矩阵。过程如下，这里需要用到tm软件包，先安装该软件包并加载。tm包中的Corpus()方法就是用来将文本转换为语料库的方法。DocumentTermMatrix()方法，显然就是将语料库转换为文档-词条矩阵，然后再将文档-词条矩阵转换为普通矩阵，过程如下：
>library(tm)
载入需要的程辑包：NLP
>corpus <-Corpus(VectorSource(hlzjTemp))
> hlzj.dtm<- DocumentTermMatrix(corpus,control=list(wordLengths=c(2,Inf)))
>hlzj.matrix <- as.matrix(hlzj.dtm)
接下来就是做聚类了，聚类算法有很多，常见的几种做聚类的方法
1.kmeans()
方法的介绍参考：。运行结果kmeansRes是一个list，names方法可以查看到kmeansRes的所有维度或者说组件，其中第一个cluster就是对应的分类结果，我们可以查看到前三十个聚类的结果，第一排对应着行号，第二排对应着聚类的结果1-5分别代表1-5类。然后我们可以将原始微博和聚类结果赋值给一个新的list变量，这样我们就能看到聚类结果和每条微博对应的关系了。最后将这个新的list变量hlzj.kmeansRes导出到本地，就能很方便地查看到聚类结果了。当然我们也可以通过fix()方法查看hlzj.kmeansRes的内容，如图所示，content是原微博内容，type是聚类结果。每个类别对应的文本数据的特点就要靠我们自己来总结了，这是聚类的一个不足的地方。
> k <- 5
> kmeansRes <- kmeans(hlzj.matrix,k) #k是聚类数
> mode(kmeansRes)#kmeansRes的内容
[1]"list"
> names(kmeansRes)
[1]"cluster""centers""totss""withinss"
[5]"tot.withinss" "betweenss" "size" "iter"
[9]"ifault"
> head(kmeansRes$cluster,10)
12 3 45 6 78 9 10
11 1 21 5 21 1 5
> kmeansRes$size #每个类别下有多少条数据
[1] 327 1159 6363 27
>hlzj.kmeansRes <- list(content=hlzj,type=kmeansRes$cluster)
> write.csv(hlzj.kmeansRes,"hlzj_kmeansRes.csv")
> fix(hlzj.kmeansRes)
2.hclust()。
方法详细介绍，过程不再细说，这个方法可以用plot()来查看聚类结果图，但是在数据量挺多的时候，图的上面的内容都挤在一起看不清楚了，这种情况下，，还是直接查看聚类结果比较好。同样，将原始数据hlzj和分类结果放在一起hlzj.hclustRes来看。可以看出类跟kmeans的聚类结果有些接近，说明微博的特征还是挺明显的。
> length(hclustRes.type)
[1] 1639
> hclustRes.type[1:10]
12 3 45 6 78 9 10
11 1 21 2 31 1 2
> hlzj.hclustRes <- list(content=hlzj,type=hclustRes.type)
> hlzj.hclustRes <- as.data.frame(hlzj.hclustRes)
>fix(hlzj.hclustRes)
明天的希望，让我们忘了今天的痛苦
