WebDataMagician V3.0.5 网页数据采集工具

前言
WebDataMagician是一款自动采集网页数据的工具,完全免费、无广告。本软件已有二十余年的历史,是我制作数据库的主要及常用工具之一。最早于2006年发布于网上读书园地WebDataMagician[网页数据采集工具]。初起为共享软件,近期对软件进行了一些更新调整,并改为免费软件,现分享给大家。
简介
特点与功能
1,特色:WebDataMagician(网页数据魔术师),适用于批量收集网页上的数据。
2,自动化:自动翻页,自动将数据保存到ACCESS数据库中。
3,通用性:可根据不同网页和不同需要,灵活设置、采集所需要数据。
4,智能化:智能化操作,可以轻松搞定获取数据的模板,并可导出模板信息以供随时调用或与他人分享、合作。
5,支持对本地数据的处理。
安装
本程序由VB6编写,需要VB6运行库支持:需要安装运行库及一些控件才能正常运行主程序。如果无法正常运行软件,通常是缺少运行库或控件,请运行主程序所在路径的SETUP文件夹中的Setup.exe进行安装。建议安装前仔细阅读安装说明(setup\readme.txt)。注意:win7以上,需以管理员身份运行安装文件!绝不能将setup文件夹放在有空格的路径中,存放该文件夹名字不能有特殊符号如●号。
说明
1,因为需要适应获取各种网页中的数据,程序设置非常灵活,所以需要有一定的耐心看完教程。
2,软件的基本配置,保存在程序所在路径的WebDataMagician.ini文件中。
3,程序默认保存模板的文件夹:程序所在路径的template文件夹。
4,程序默认保存网页的文件夹:程序所在路径的download文件夹。
5,帮助文件为:WebDataMagician.chm。
6,下载时的出错信息记录在error.log中。
7,下载图片时的出错信息记录在ImgErr.log中。
8,由于微软不再支持IE,所以有些网页可能无法打开或获取数据。
使用方法
1,运行程序,打开需要获取数据的网页,待网页完全打开后,再进行相关设置。
2,设置获取数据的模板(设置如何自动翻页和获取数据的规则)。要实现自动获取数据的功能,必须具备二个条件:一是要能自动翻页,二是要能自动处理网页上的数据。模板就是记录如何自动翻页和如何提取数据的配置文件。
2.1设置自动翻页的模式:网页链接/合成链接/自动点击/源于资源以及本地数据处理。
2.2 数据库的设置:数据库保存路径及名称。
2.3 设置获取数据的方法:文本标志/网页结构/网页元素/正则表达式以及下载文件。
3,测试及保存模板。如果模板已经存在,可以打开模板进行必要的调整。
4,必要时进行工程设置:如果一个网站数据的提取要分几步完成,可以先分别设置相应的模板,然后创建一个工程,把相应的模板按先后顺序加入到工程中并保存,运行这个工程,程序将自动按序完成任务。你也可以手工执行相关操作。如果网站的数据比较简单(只需要一个模板就能完成数据提取工作),当设置好模板后就能执行数据提取工作。
5,设置下载时的线程。
6,开始获取数据。
教程
内附详细教程(WebDataMagician.chm)。
B站个人主页也将加入在线视频教程。
下载地址
WebDataMagician_V3.0.5.rar下载地址:https://wwas.lanzouu.com/i7amb2su84fi 密码:XLYY

浙公网安备 33010602011771号