wintersense的专栏

最近用其svmlight进行movie review文本分类的问题。查阅了一些svmlight软件的使用方法,在此整理如下:

1)下载svm_light软件,分别为svm_classify.exe和svm_learn.exe

2)下载它的训练数据的example,如下面的图所示:

train.dat

model

test.dat与train.dat格式相似

3)下面了解一些训练数据的格式

文件格式

文件格式要先交代一下. 你可以参考 libsvm 里面附的 “heart_scale”: 这是SVM的输入文件格式.

[label][index1]:[value1] [index2]:[value2] …

[label][index1]:[value1] [index2]:[value2] …

一行一条记录数据,如:

+1 1:0.708 2:1 3:1 4:-0.320 5:-0.105 6:-1

label

或说是class, 就是你要分类的种类,通常是一些整数。

index

是有顺序的索引,通常是连续的整数。

value

就是用来 train 的数据,通常是一堆实数。

每一行都是如上的结构, 意思就是: 我有一排数据, 分别是 value1, value2, …. value, (而且它们的顺序已由 index 分别指定),这排数据的分类结果就是label。

或许你会不太懂,为什么会是 value1,value2,…. 这样一排呢? 这牵涉到SVM的原理。你可以这样想(我没说这是正确的), 它的名字就叫 Support “Vector” Machine,所以输入的训练数据是 “Vector”(向量), 也就是一排的 x1, x2, x3, … 这些值就是 value,而 x[n] 的n就是由index 指定。这些东西又称为 “(属性)attribute”。

真实的情况是,大部份时候我们给定的数据可能有很多 “特征(feature)” 或说 “属性(attribute)”,所以输入会是一组的。举例来说,以前面来说,我们不是每个点都有 X 跟 Y 的坐标吗?所以它就有两种属性。假定我有两个点: (0,3) 跟 (5,8) 分别在 label(class) 1 跟 2 ,,那就会写成

1 1:0 2:32 1:5 2:8同理,空间中的三维坐标就等于有三组属性。这种文件格式最大的好处就是可以使用稀疏矩阵(sparse matrix),或说有些数据的属性可以有缺失。

以上粉色内容摘自

4)Dos进入训练、测试数据所在的文件夹,进行测试

>svm_learn -c 0.5 -g 3.2 train.dat model>svm_classify test.txt model predict_result.txt

其中有一些参数,我以后用到时会再发博客讲解。

只做第一个我,不做第二个谁。

wintersense的专栏

相关文章:

你感兴趣的文章:

标签云: