WebCollector 2.x的增量更新机制,适合采集门户网站的更新新闻信息。
基于WebCollector 2.x 我们制作了Android APP程序员杂志。应用采用HTML5构建,应用只有33k,应用使用了webkit的缓存机制,非常节省流量。
下载地址:百度应用下载地址
WebCollector 2.x去除了1.x版本中依赖时间的增量更新,而是增添了API Crawler.addForcedSeed(String)。
通过addForceSeed(String)添加的种子在断点爬取中会被重复爬取,,如果对门户网站进行爬取,各个模块的首页一般都通过addForceSeed的方式加入。爬虫检测到这些页面上有新的链接,就可以即时爬取。
我知道有一种爱情,叫做与你白头,有一种幸福,叫做和你相伴。