目前的分词器大部分都是单机服务器进行分词，，或者使用hadoop mapreduce对存储在hdfs中大量的数据文本进行分词。由于mapreduce的速度较慢，相对spark来说代码书写较繁琐。本文使用spark + ansj对存储在hdfs中的中文文本数据进行分词。 首先下载ansj源码文件，下载地址为https://github.com/NLPchina/ansj_seg，同时需要下载nlp-lang.jar包，下载地址上述网站中可以看到。由于spark传输数据必须进行序列化，而ansj中的属性类都没有实现序列化，需要将ansj_seg-master/src/main/java/org/ansj/domain中的属性类AnsjItem、Nature、NewWord、NumNatureAttr、PersonNatureAttr、Term、TermNature、TermNatures分别实现Serializable接口。然后使用maven的mvn install生成ansj_seg-2.0.8.jar包，将编译的ansj_seg-2.0.8.jar包 和之前下载的nlp-lang-0.3.jar包加入到spark依赖中，spark便可对hdfs中的文本进行分词。另外，将序列化后编译的jar上传至csdn，可以直接下载使用。 实例如下：
import org.apache.spark.SparkContextimport org.ansj.domain.Termimport org.ansj.splitWord.analysis.ToAnalysisimport org.ansj.util.FilterModifWordimport org.ansj.library.UserDefineLibraryimport java.util.Arrays{ val sc = new SparkContext val numpatitions = 100 val text = sc.textFile(“/path/to/ChineseFile”, numpatitions).map { x =>val temp = ToAnalysis.parse(x)//加入停用词 FilterModifWord.insertStopWords(Arrays.asList(“r”,”n”))//加入停用词性FilterModifWord.insertStopNatures(“w”,null,”ns”,”r”,”u”,”e”)val filter = FilterModifWord.modifResult(temp)//此步骤将会只取分词，不附带词性val word = for(i<-Range(0,filter.size())) yield filter.get(i).getNameword.mkString(“\t”)} text.saveAsTextFile(“/pathr/to/TokenFile”)}
是会眨眼的星星，而当火车弯曲而行，这些星群便上上下下的画着弧线，
