垂直搜索引擎蜘蛛 - 飛揚 - 博客园

垂直搜索引擎蜘蛛

       本以为蜘蛛很简单,根据一个url,抓取到html内容,然后根据正则匹配数据入库.却发现,越看资料越复杂,蜘蛛应该根据抓取相似页面自动生成抓取模板,而且蜘蛛还要支持cookies和会自登录等多种协议.
        页面解析方面,也不是简单的获得标题和内容那么简单,还要做dom解析,js解析,模拟浏览器的可视化抓取等等.
        先从页面数据的抽取这方面入手研究吧.

posted on 2008-05-29 10:31 隨風.NET 阅读(66) 评论(0) 编辑收藏

新用户注册刷新评论列表

标题

姓名

主页

Email

(博主才能看到)


验证码	* 看不清,换一张 [登录][注册]

内容(请不要发表任何与政治相关的内容)

网站首页

新闻频道

社区

小组

博问

网摘

闪存

找找看

Remember Me?

登录使用高级评论新用户注册返回页首恢复上次提交

[使用Ctrl+Enter键可以直接提交]

"五向定位"职业成长路线公开课(上海、南京、大连)

Google站内搜索

相关文章:
垂直搜索引擎发展的几个方向
[zt]垂直搜索引擎深度分析

相关链接:

最新IT新闻:
MySpace推自助广告平台MyAds
Facebook创始人:信息共享或存摩尔定律
微软承认Vista用户账户控制功能有问题
资本寒冬侵袭中国视频网站营销春天或不远
金融风暴波及全球创业板中国概念股难独善其身

导航

公告

希望自己能静心写点blog，很多内容来自与互联网，如果没有添加来源，可能是忘记了，还请谅解

2008年5月

日

一

二

三

四

五

六

27

28

29

30

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

17

18

20

21

22

23

24

28

30

31

1

2

3

4

5

6

7

统计

随笔 - 31
文章 - 1
评论 - 30
引用 - 0

与我联系

发短消息

搜索

常用链接

留言簿

我管理的小组

垂直搜索研究

我参加的小组

我参与的团队

博客园创业者(0/49)

随笔分类(5)

随笔档案(29)

links

最新随笔

积分与排名

积分 - 13041
排名 - 2867

最新评论

1. re: Lucene一些技巧
路过收藏了
--zzticzh

阅读排行榜

评论排行榜