WebDataMagician V3.0.5 网页数据采集工具

前言

WebDataMagician是一款自动采集网页数据的工具,完全免费、无广告。本软件已有二十余年的历史,是我制作数据库的主要及常用工具之一。最早于2006年发布于网上读书园地WebDataMagician[网页数据采集工具]。初起为共享软件,近期对软件进行了一些更新调整,并改为免费软件,现分享给大家。

简介

特点与功能

1,特色:WebDataMagician(网页数据魔术师),适用于批量收集网页上的数据。

2,自动化:自动翻页,自动将数据保存到ACCESS数据库中。

3,通用性:可根据不同网页和不同需要,灵活设置、采集所需要数据。

4,智能化:智能化操作,可以轻松搞定获取数据的模板,并可导出模板信息以供随时调用或与他人分享、合作。

5,支持对本地数据的处理。

安装

本程序由VB6编写,需要VB6运行库支持:需要安装运行库及一些控件才能正常运行主程序。如果无法正常运行软件,通常是缺少运行库或控件,请运行主程序所在路径的SETUP文件夹中的Setup.exe进行安装。建议安装前仔细阅读安装说明(setup\readme.txt)。注意:win7以上,需以管理员身份运行安装文件!绝不能将setup文件夹放在有空格的路径中,存放该文件夹名字不能有特殊符号如●号。

说明

1,因为需要适应获取各种网页中的数据,程序设置非常灵活,所以需要有一定的耐心看完教程。

2,软件的基本配置,保存在程序所在路径的WebDataMagician.ini文件中。

3,程序默认保存模板的文件夹:程序所在路径的template文件夹。

4,程序默认保存网页的文件夹:程序所在路径的download文件夹。

5,帮助文件为:WebDataMagician.chm。

6,下载时的出错信息记录在error.log中。

7,下载图片时的出错信息记录在ImgErr.log中。

8,由于微软不再支持IE,所以有些网页可能无法打开或获取数据。

使用方法

1,运行程序,打开需要获取数据的网页,待网页完全打开后,再进行相关设置。

2,设置获取数据的模板(设置如何自动翻页和获取数据的规则)。要实现自动获取数据的功能,必须具备二个条件:一是要能自动翻页,二是要能自动处理网页上的数据。模板就是记录如何自动翻页和如何提取数据的配置文件。

2.1设置自动翻页的模式:网页链接/合成链接/自动点击/源于资源以及本地数据处理。

2.2 数据库的设置:数据库保存路径及名称。

2.3 设置获取数据的方法:文本标志/网页结构/网页元素/正则表达式以及下载文件。

3,测试及保存模板。如果模板已经存在,可以打开模板进行必要的调整。

4,必要时进行工程设置:如果一个网站数据的提取要分几步完成,可以先分别设置相应的模板,然后创建一个工程,把相应的模板按先后顺序加入到工程中并保存,运行这个工程,程序将自动按序完成任务。你也可以手工执行相关操作。如果网站的数据比较简单(只需要一个模板就能完成数据提取工作),当设置好模板后就能执行数据提取工作。

5,设置下载时的线程。

6,开始获取数据。

教程

内附详细教程(WebDataMagician.chm)。

B站个人主页也将加入在线视频教程。 

下载地址

WebDataMagician_V3.0.5.rar下载地址:https://wwas.lanzouu.com/i7amb2su84fi 密码:XLYY

posted @ 2025-03-08 15:47  wblx  阅读(83)  评论(0)    收藏  举报