基于WebCollector 2.x的增量更新机制,制作新闻采集APP

WebCollector 2.x的增量更新机制,适合采集门户网站的更新新闻信息。

基于WebCollector 2.x 我们制作了Android APP程序员杂志。应用采用HTML5构建,应用只有33k,应用使用了webkit的缓存机制,非常节省流量。

下载地址:百度应用下载地址

WebCollector 2.x去除了1.x版本中依赖时间的增量更新,而是增添了API Crawler.addForcedSeed(String)。

通过addForceSeed(String)添加的种子在断点爬取中会被重复爬取,,如果对门户网站进行爬取,各个模块的首页一般都通过addForceSeed的方式加入。爬虫检测到这些页面上有新的链接,就可以即时爬取。

我知道有一种爱情,叫做与你白头,有一种幸福,叫做和你相伴。

基于WebCollector 2.x的增量更新机制,制作新闻采集APP

相关文章:

你感兴趣的文章:

标签云: