火车头采集器
火车头采集器(LocoySpider)是一款专业的网页数据采集工具,提供抓取、处理、分析,挖掘等多种功能,支持采集99%的网页,速度是普通采集器的7倍,灵活迅速地抓取网页上散乱分布的数据信息,并通过一系列的分析处理,准确挖掘出所需数据。
|
软件语言:
|
软件授权:免费
|
|
适用系统:Windows
|
创建时间:2020-12-15 |
|
软件厂商/开发者信息: -
|
|
资讯 更多
- 火车头采集器 v9.10 官方版更新 2019-10-16
功能
火车采集器 (LocoySpider) 是一款功能强大且易于上手的专业采集软件,强大的内容采集和数据导入功能能将您采集的任何网页数据发布到远程服务器,自定义用户 cms 系统模块,不管你的网站是什么系统,都有可能使用上火车采集器,系统自带的模块文件支持:风讯文章,动易文章,动网论坛,PHPWIND 论坛,Discuz 论坛,phpcms 文章,phparticle 文章,LeadBBS 论坛,魔力论坛,Dedecms 文章,Xydw 文章,惊云文章等的模块文件。更多 cms 模块请自己参照制作修改,也可到官方网站与大家交流制作。同时您也可以使用系统的数据导出功能,利用系统内置标签,将采集到的数据对应表的字段导出到本地任何一款 Access,MySql,MS SqlServer 内。
LocoySpider 采用 Visual C#编写,可独立在Windows2008下运行(windows2003 自带.net1.1 框架。最新版的火车采集器是 2008 版,需要升级到.net2.0 框架才能使用),如您在 Windows2000、Xp 等环境下使用,请先到微软官方下载一个.net framework2.0 或更高环境组件。火车采集器 V2009 SP2 04 月 29 日
数据抓取原理
火车采集器如何去抓取数据,取决于您的规则。您要获取一个栏目的网页里的所有内容,需要先将这个网页的网址采下来,这就是采网址。程序按您的规则抓取列表页面,从中分析出网址,然后再去抓取获得网址的网页里的内容。再根据您的采集规则,对下载到的网页分析,将标题内容等信息分离开来并保存下来。如果您选择了下载图片等网络资源,程序会对采集到的数据进行分析,找出图片,资源等的下载地址并下载到本地。
数据发布原理
在我们将数据采集下来后数据默认是保存在本地的,我们可以使用以下几种方式对数据进行处理。
1、不做任何处理。因为数据本身是保存在数据库的(access、db3、mysql、sqlserver),您如果只是查看数据,直接用相关软件打开查看即可。
2、Web 发布到网站。程序会模仿浏览器向您的网站发送数据,可以实现您手工发布的效果。
3、直接入数据库。您只需写几个 SQL 语句,程序会将数据按您的 SQL 语句导入到数据库中。
4、保存为本地文件。程序会读取数据库里的数据,按一定格式保存为本地 sql 或是文本文件。
工作流程
火车采集器采集数据是分成两个步骤的,一是采集数据,二是发布数据。这两个过程是可以分开的。
1、采集数据,这个包括采集网址,采集内容。这个过程是获得数据的过程。我们做规则,在采的过程中也算是对内容做了处理。
2、发布内容就是将数据发布到自己的论坛,CMS 的过程,也是实现数据为已有的过程。可以用 WEB 在线发布,数据库入库或存为本地文件。
具体的使用其实是很灵活的,可以根据实际来决定。比如我可以采集时先采集不发布,有时间了再发布,或是同时采集发布,或是先做发布配置,也可以在采集完了再添加发布配置。总之,具体过程由您而定,火车采集器的强大功能之一也就是体现在灵活中。
采集器
2012-05-16 更新
1.屏蔽掉 httpwebpost 中浏览器的脚本错误提示
2.修复使用偏好中的采集器没有开机启动和关闭窗口选项没有启用的 bug
3.对 mysql 和 sqlserver 做本地服务器建了索引,解决了大数据量时查询出错的问题
4.细节修改,如在线发布里面的 COOKIS 可以全选,多页默认传前页 user-agent 给多页
5.增加了多个任务在只使用一个任务运行窗口,减少资源使用
6.更改任务运行完关机方式为只生效一次
7.修复一个当多页获取为空时网址成默认页的 bug
8.插件中没有处理 UseGetStepUrls 的 bug
9.httpserver 增加了列表分组,自动启动,和新建任务返回分组和任务 id
10.对用户对标签组合再次标签组合进行了允许处理。
11.修复对列表获取的内容,部分情况下会补全的 bug
12.修复多页管理时特殊情况下新建标签没有保存的 bug
13.修复部分情况下标签提取大小写无效的 bug
14.修复如果一个标签出现多次时间转换转换部分无效的 bug.
15.修复了 ubb 转换中部分转换错误的 bug.
16.增加了将下载地址保存为 html 文件的功能。
17.增加了 web 发布时网页超时设置
18.修复本地数据库使用 Access 时任务数据批量工具清理已发数据无效的 bug.
19.修复任务完成后关机设置取消后还会再提示关机的 bug
20.修改部分电脑上 Mongodb 服务不能识别的 bug
新增功能
无限级多页采集
任务队列运行管理功能
无限级分组任务管理,任务回收站功能
RSS 地址采集功能
列表页分页采集获取功能
列表页附加参数获取功能
列表页及标签 XPath 可视化提取功能
标签纯正则替换功能
Http 接口查看运行情况
导出记录为单个或多个 Txt、html 文件
标签间自由组合功能
针对标签内容继续发送 Http 请求功能
无限级列表网址采集
从 Http 头信息中获取数据
标题内容正文提取功能
Aspx 列表分页自识别
多网站站群式 web 发布
导出记录为 Word 格式
导出所有记录为 Excel 格式
使用随机二级代理服务器 (支持 Socket 代理)
多扩展间数据交换功能
下载的图片自动加增强型水印功能
Ocr 识别 (图片转化为文字)
Http 接口管理采集器运行
Mongodb 数据库保存数据
主从服务器分布式采集
术语介绍
采集规则
采集规则分为站点规则和任务规则,通常是指任务规则。所谓采集规则就是要采集一个网站时在软件里进行的设置。这个设置可以从软件里导出保存成一个文件并可以再导入到软件里。站点规则文件的后缀名为:.lsite;任务规则文件的后缀名为:.ljob。
采集任务
采集任务又简称为任务。它是采集规则和发布规则的总和。也是采集规则和发布规则的载体。采集规则和发布规则的设置通过在任务编辑框里进行设置。从采集器里导出的采集规则文件(.ljob 后缀的)也可称为任务规则。导入导出任务规则就是指导入导出.ljob 文件。
发布模块
发布模块又称为发布规则,通常是指数据库发布模块或者 WEB 发布模块。所谓发布模块就是在需要将已经采集的数据发布到目的地(比如:指定数据库,网站中)时在软件里进行的设置。这个设置可以保存成一个文件并可以导入到采集器里使用。数据库发布模块文件的后缀名为:.jhc;WEB 在线发布模块文件的后缀名为:.cwr。
(采集规则和发布模块都可以从采集器里导出,也都可以导入到采集器中使用。采集规则负责将网页上的数据采集下来,发布模块负责将采集的数据发布到网站中。可见,采集规则的编写和修改和被采集的网站有关系,而发布模块的编写和修改和要发布数据的网站有关系。如从不同的网站栏目采集数据往同一个网站的某个板块(频道)里发布,需要多个采集规则和一个发布模块。从一个网站栏目采集数据往不同的网站系统里发布,需要一个采集规则和多个发布模块。注意这里的说的采集规则是指采集网站和抓取内容的设置。)
发布接口
发布接口就是一个小的页面程序通常和 WEB 发布模块配合使用。WEB 在线发布(使用 WEB 发布模块)是将采集的数据以 POST 方式发送到网站页面程序中由网站程序处理数据。而发布接口就是为了满足特定需求而写的一个网站的页面程序(如:PHP 页面,ASP 页面等)。然后采集器通过 WEB 在线发布将数据发送到这个接口文件由这个接口文件处理数据。接口文件通常放在服务器网站某个目录下。简单的说就是采集器将采集的数据发送到接口文件中,接口文件得到数据后去处理数据。使用发布接口用户可以更加灵活自由的处理采集器发送的数据。
插件
火车采集器里的插件分为 PHP 插件和.NET 插件两种。标准版支持 PHP 插件,企业版支持 PHP 插件和.NET 插件。插件可以让用户通过自己写 PHP 程序或者.NET 程序放到采集器中对采集的数据进行处理。采集数据数据在四个地方可以使用插件,分别为:采网址时、采内容时、采多页时,保存时。
发布数据
发布数据就是将采集到的数据发布到指定的目的地,火车采集器支持四种发布方式。
方式一:Web 在线发布到网站 这种发布方式类似于在网站后台手工添加数据一样。采集器将数据发送给网站后台程序,由网站后台程序去处理数据通常后台程序讲数据存入网站数据库中。
方式二:保存为本地文件 这种方式可以将采集的数据发布到本地的文件中,采集器支持保存成 Txt 格式、Csv 格式和 Html 格式。
方式三:导入到自定义数据库 这种方式可以通过采集器连接到其他数据库从而将采集的数据从软件内置数据库中导入到其他的数据库中,采集器支持连接 Mysql、Access、Oracle、MSsql 数据库。
方式四:保存为本地 Sql 文件(Insert 语句)这种方式是将采集的数据导出保存成 Insert 语句,可以用于在数据库的管理工具中执行插入数据。
本地编辑数据
采集器不仅可以采集发布数据,还可以将采集下来的数据经过编辑以后再发布。支持批量替换,通过 SQL 语句批量处理以及在文本编辑框里编辑。
版本列表
-
-
-
火车头采集器 v9.10 官方版
火车头采集器(LocoySpider)是一款专业的网页数据采集工具,提供抓取、处理、 ...
软件大小:29.3 MB 更新时间:2019-10-16
-
