文章分类 -  webmagic爬虫总结

摘要:资源下载 mail.jar(用于连接,获取邮件) jsoup.jar(用于解析html) 基础设置 开启服务 需要开启QQ邮箱的POP3/IMAP服务 打开QQ邮箱,并点开设置–>账户 开启POP3/IMAP服务 生成授权码,第一次开启会引导生成授权码 获取QQ邮箱的邮件并不是通过QQ邮箱的密码去做 阅读全文
posted @ 2017-06-06 09:17 烟雨观春柳 阅读(947) 评论(2) 推荐(0)
摘要:该框架容易上手,可定制可扩展,非常适合想用java做爬虫的小伙伴们。先看一下官方教程,里面写得很详细,也有不少参考案例。 暂时还想不到有什么数据值得爬取,先拿csdn博客来练练手。 小爬虫能抓取指定用户的所有文章的关键信息,包括文章id,标题,标签,分类,阅读人数,评论人数,是否原创。并且把数据保存 阅读全文
posted @ 2016-11-24 15:16 烟雨观春柳 阅读(156) 评论(0) 推荐(0)
摘要:JAVA修炼塔 Q群号:535296702 欢迎追求技术巅峰的有志之士加入探讨!!!!! 听到“爬虫”,是不是第一时间想到Python/PHP ? 多少想玩爬虫的Java学习者就因为语言不通而止步。Java是真的不能做爬虫吗? 当然不是。 只不过python的3行代码能解决的问题,而Java要30行 阅读全文
posted @ 2016-11-24 14:57 烟雨观春柳 阅读(355) 评论(0) 推荐(0)