NETSpider网站数据采集软件是一款基于.Net平台的开源软件。软件部分功能是基本Soukey软件进行开发的.这个版本采用VS2010+.NET3.5进行开发的.NETSpider采摘当前提供的主要功能如下：1.多任务多线程数据采集，支持POST方式(待定)；2.可采集Ajax页面；3.支持Cookie，支持手工登录采集数据；4.支持采集事务；5.支持数据自动及手工导出，导出格式为：文本、Excel、Access、MSSql、Mysql等；6.支持在线发布数据；7.支持导航网址的采集，导航深度不限；8.支持自动翻页；9.支持文件下载，可以采集图片、Flash及其他文件；10.支持采集结果数据的加工，包括替换、附前缀后缀、截取等操作，支持正则；11.采集网址定义不仅支持基本参数定义，也可外接字典数据作为网址参数，进行数据采集；12.支持一个任务多实例运行；13.提供计划任务，计划任务支持NETSpider采集任务、外部可执行文件任务、数据库存储过程任务(还在开发中)；14.计划任务执行周期支持每天、每周及自定义运行间隔；最小单位为：半小时；15.支持任务触发器，即可在采集任务完成后，自动触发执行其他任务（包括可执行文件或存储过程）。16.完善的日志功能：系统日志、任务执行日志、出错日志等等；17.系统提供MINI浏览器可用于捕获Cookie或POST数据；NETSpider采集器并不限制您是否商用此软件，源码完全开放，===================以下为更新内容===================================1.NETSpider于2014年10月1日开放相关下载:https://git.oschina.net/kingkoo1985/NETSpider <无> .CodeEntity .code_pieces ul.piece_anchor{width:25px;position:absolute;top:25px;left:-30px;z-index:1000;}.CodeEntity .code_pieces ul.piece_anchor li{width:25px;background: #efe;margin-bottom:2px;}.CodeEntity .code_pieces ul.piece_anchor li{border-left:3px #40AA63 solid;border-right:3px #efe solid;}.CodeEntity .code_pieces ul.piece_anchor li:hover{border-right:3px #40AA63 solid;border-left:3px #efe solid;}.CodeEntity .code_pieces ul.piece_anchor li a{color: #333;padding: 3px 10px;}.CodeEntity .code_pieces .jump_to_code{visibility:hidden;position:relative;}.CodeEntity .code_pieces .code_piece:hover .jump_to_code{visibility:visible;}.CodeEntity .code_pieces .code_piece:hover .jump_to_code a{text-decoration:none;}.CodeEntity .code_pieces h2 i{float:right;font-style:normal;font-weight:normal;}.CodeEntity .code_pieces h2 i a{font-size:9pt;background: #FFFFFF;color:#00A;padding: 2px 5px;text-decoration:none;}
NETSpider网站数据采集软件
