首页 > 软件列表 > 开发运维 > 网页开发 > 站长工具 > 网络矿工数据采集软件
网络矿工数据采集软件

网络矿工数据采集软件

网络矿工数据采集软件是一款面向专业采集用户的采集软件,提供了数据采集、加工、发布一体化的解决方案,具备强大的采集能力,实现了可视化、智能化的规则配置,免去了传统规则配置的烦恼。

软件语言:简体中文
软件授权:免费
适用系统:Windows
创建时间:2020-12-14
软件厂商/开发者信息: -

介绍

网络矿工数据采集软件是一款 互联网数据采集、编辑、存储、发布为一体的工具软件。系统支持多任务、多线程、代理 IP 等策略,可以高效的采集各类网页数据、及下载各类文件,同时还提供了数据加工工具,可以在数据采集的同时就可完成数据加工操作,提升最终数据呈现的质量,网络矿工数据采集软件支持各类常用的数据库,包括 MS SqlServer、MySql 及 Access,同时还支持 web 方式进行数据提交。

自网络矿工数据采集软件 V5.0 版开始,提供免费版本。

发展

网络矿工数据采集软件的前身是 Soukey 采摘数据采集器,至今已 2 年时间,最新版本为 V5.0,并扩展了两个有效的工具:数据加工及发布工具,静默运行监控工具。

技术平台

网络矿工数据采集软件基于 Microsoft VS2005 开发,开发语言为 C#,所以运行需在 windows 平台及 Microsoft .NetFramework2.0 以上环境运行。

授权方式

网络矿工数据采集软件 V5.0 开始提供免费版,其他版本按照用户数授权,不绑定计算机;

详细功能

数据采集功能

1、多任务、多线程,支持一个任务运行多个实例;采集规则与运行实例分离的好处是修改任务信息后,并不影响已经运行的任务;

2、支持图片、Flash 及文件下载;下载并不支持多线程处理;

3、网址配置支持参数定制,及外部字典参数;通过字典方式可扩展自定义的参数值;

4、支持 Cookie、POST 采集;可记录 Cookie,采集需要登录的网站数据,也可通过手工登录进行采集;

5、支持导航、自动翻页;可进行网址导航,譬如:通过新闻列表采集新闻内容;支持多层导航;

6、可采集 Ajax 数据;关于 Ajax 技术网站,需要通过 HTTP 嗅探器探测其真实地址;推荐使用 Fiddler;

7、采集数据临时存储、断点续采;临时存储数据格式为 XML;

8、支持数据导出,文件、数据库;数据库支持 Access、MS SqlServer、MySql,文件支持文本文件和 Excel;数据导出支持手工和自动,手工导出仅支持文件形式;

9、提供网址编/解码工具;支持 UTF-8、GB2312、GBK、Big5;

10、在线数据发布;支持在线数据发布,数据发布支持 Cookie;

11、数据采集支持采集数据加工;可对采集数据进行字符串替换、截取、附加等操作,可自动去除网页符号,支持正则;

12、支持 任务计划;可定时执行任务,最小间隔为:0.5 小时;

13、支持任务触发器;可触发采集任务、数据库 存储过程及可执行文件,支持采集完成及发布完成触发;

14、支持采集数据网址的自动输出;可作为内容引用、错误查找使用;

15、支持采集延时;针对访问限制的网站,可采用采集延时控制单位时间内对网站的采集次数;

16、支持分层数据采集;即通常所说的分页采集、级联采集,支持 1 对 1 及 1 对 N 的数据关系;

17、支持 Url Base64 编码 针对部分网站采用 Base64 编码 Url 进行了支持,可采集此类网站数据;

18、支持外部字典数据导入可成批导入字典数据;

19、支持 HTTPHeaders 自定义支持 HTTPHeaders 自定义;

20、增加了导航自动翻页功能;

21、支持采集规则 通配符及自定义 正则表达式;

22、支持 U 码识别、网址转移;

23、增加代理 轮询引擎支持数据采集;

24、增加导航提取范围;

25、增加自定义导航规则处理;大部分导航都是由可识别的 Url 进行的,但也存在特殊情况,譬如:是由提交表单来完成,针对此种情况采用此功能可实现对导航规则的处理;

26、支持外部参数采集任务;利用此种类型的采集任务可以再本地配置搜索引擎,用户网站信息的搜索;典型应用:企业黄页查询;

27、支持导航层分页;利用此功能可以按照简化采集任务的配置,甚至可以通过一个入口地址采集所有的信息内容;

28、直接入库;可将采集的数据直接存入数据库,利用此种方式,系统可采集成百上千万条数据,而不影响系统性能。数据库支持 Access、MS Sqlserver 及 MySql;

数据编辑功能

1、采集 数据输出数据多种规则加工;对采集数据可实现多种数据加工规则的应用,通过此方法,可以更加灵活的采集到需要的数据内容。;

2、提供数据加工模块;可对采集数据灵活的进行 数据修改,调整表结构,然后再进行数据发布操作。同时还可利用此功能实现 外部数据的加工及发布操作;

3、支持数据合并;可应用于分页文章采集,并自动合并成一篇文章的采集形式;

高级功能

1、提供 Mini 浏览器;可用于 Cookie 及 POST 数据的捕获;

2、软件界面支持多语言 网络矿工仅支持中文简体,后期会扩展英文版本;

3、支持 任务计划输出到同一个采集文件;可应用为数据递增采集;

4、提供采集规则分析器;通过采集规则分析器,可方便的查看采集规则配置的正确性;

5、支持 代理服务器;当前仅支持 HTTP 代理;

6、提供 网络监控雷达服务,可根据用户规则监控网络数据,并及时预警、处理;

7、提供正则分析工具,辅助分析采集规则配置的正确性;

8、增加静默运行模式,即无人值守采集功能,可自动执行,自动优化资源,并将执行情况自动记录日志;

9、提供 日志管理功能;

10、增加雷达监控 URL 提重功能;

V2012 新增功能

1、增加了 xPath 可视化配置;

2、增加了 OCR 文本识别的功能;

3、增加了多页采集的功能;

4、增加了__doPostBack 函数的支持;

5、增加了自我导航能力,可实现单页面数据一对多关系的采集;

6、增加了多 sql 语句的支持;

V2012SP1 新功能

1、增加了嗅探器的功能,可检测 HTTP 通讯,可有效发现 ajax、iframe 请求的页面进行探测;

2、全面支持可视化配置;

3、增加配置助手,可自动对网页进行分析产生表格、文章的采集规则;同时也可通过配置助手自动配置采集规则;

4、优化了 V2012 的界面操作,提升软件的易用性,同时也修正了 V2012 中的很多 bug,使软件运行更加稳定;

V5.0 新功能

1、支持扩展插件,支持三种类别插件:获取 Cookie 类、数据编辑类及数据发布类;

2、支持发布模板,可通过制作的发布模板进行数据发布操作;

3、提供同义词替换及段落合并的数据编辑规则;

版本列表