八爪鱼采集器是任何一个需要从网页获取信息的孩纸必备的一款神器,这个是一款可以让你的信息采集可以变得很简单的工具。八爪鱼可以非常容易的从任何网页精确采集你需要的数据,生成自定义的、规整的数据格式。八爪鱼转变了传统对于网络上的数据思维方法,在各大电商平台之间同步商品信息,做到在一个平台发布,其他平台自动更新。它让用户在网上抓取资料编的更加简单和容易了
软件特色
操作简单,完全可视化图形操作,无需专业IT人员,任何会使用电脑上网的人都可以轻松掌握。
云采集
采集任务自动分配到云端多台服务器同时执行,提高采集效率,可以很短的时间内 获取成千上万条信息。
拖拽式采集流程
模拟人的操作思维模式,可以登陆,输入数据,点击链接,按钮等,还能对不同情况采取不同的采集流程。
图文识别
内置可扩展的OCR接口,支持解析图片中的文字,可将图片上的文字提取出来。
定时自动采集
采集任务自动运行,可以按照指定的周期自动采集,并且还支持最快一分钟一次的实时采集。
2分钟快速入门
内置从入门到精通所需要的视频教程,2分钟就能上手使用,另外还有文档,论坛,QQ群等。
免费使用
它是免费的,并且免费版本没有任何功能限制,你现在就可以试一试,立即下载安装。
功能介绍
简单来讲,使用八爪鱼可以非常容易的从任何网页精确采集你需要的数据,生成自定义的、规整的数据格式。八爪鱼数据采集系统能做的包括但并不局限于以下内容:
1. 金融数据,如季报,年报,财务报告, 包括每日最新净值自动采集;
2. 各大新闻门户网站实时监控,自动更新及上传最新发布的新闻;
3. 监控竞争对手最新信息,包括商品价格及库存;
4. 监控各大社交网站,博客,自动抓取企业产品的相关评论;
5. 收集最新最全的职场招聘信息;
6. 监控各大地产相关网站,采集新房二手房最新行情;
7. 采集各大汽车网站具体的新车二手车信息;
8. 发现和收集潜在客户信息;
9. 采集行业网站的产品目录及产品信息;
10. 在各大电商平台之间同步商品信息,做到在一个平台发布,其他平台自动更新。
使用方法
先我们新建一个任务-->进入流程设计页面-->添加一个循环步骤到流程中-->选中循环步骤-->勾选上软件右方的URL 列表勾选框-->打开URL列表文本框-->将准备好的URL列表填写到文本框中
接下来往循环中拖入一个打开网页的步骤-->选中打开网页步骤-->勾选上使用当前循环里的URL作为导航地址-->点击保存。系统会在界面下方的浏览器中打开循环中选中的URL对应的网页
到这里,循环打开网页的流程就配置完成了,运行流程的时候,系统会逐个的打开循环中设置的URL。最后我们不需要配置一个采集数据的步骤,这里就不在多讲,大家可以参考从入门到精通系列1:采集单个网页 这篇文章。下图就是最终和流程
下面是流程最终的运行结果
更新日志
主要体验改进
【自定义模式】新增JSON采集功能
【自定义模式】新增滑动验证码识别
【自定义模式】优化效率,列表识别速度翻倍
【自定义模式】自动识别网页Ajax点击,自动配置Ajax超时时间,配置任务更方便
【自定义模式】改进算法,选择网页元素更精准
【本地采集】采集速度整体提升10~30%,采集效率大幅提高
【任务列表】重构任务列表界面,大幅提高性能表现,大量任务管理不再卡顿
【任务列表】任务列表加入自动刷新机制,可随时查看任务最新状态
Bug修复
修复云采集查看数据缓慢问题
修复采集错误报告排版错乱问题
修复「打开网页时会出现乱码」问题
修复拖动流程后突然消失的问题
修复定时导出、自动入库工具自动弹出问题
修复格式化时间类型数据出错问题