2016年7月10日

摘要: 爬虫有时候也要进入登陆页面之后进行爬取,这就避免不了模拟登陆了。自己在这里卡了好久,终于算是模拟成功一次。 当然,这次也是用requests,真是好用的很呢。上代码。 下面是代码输出结果。 阅读全文

posted @ 2016-07-10 11:16 不秩稚童 阅读(1048) 评论(2) 推荐(0)

摘要: 本人呢,算是学统计的,就想着爬一下智联的统计岗位信息,嗯,岗位很强势。。。 这里用了requests,bs4进行抓取与解析,数据存入mysql数据库。代码比较乱,先凑和着看,有时间再整理吧。。。 代码输出结果如下。 数据库查询结果如下。 阅读全文

posted @ 2016-07-10 11:00 不秩稚童 阅读(6006) 评论(3) 推荐(0)

摘要: 在爬取数据量比较大时,用EXCEL存取就不太方便了,这里简单介绍一下python操作mysql数据库的一些操作。本人也是借助别人的博客学习的这些,但是找不到原来博客链接了,就把自己的笔记写在这里,这里感谢博文原创者。 输出结果如下图。 上面算是一个基本流程吧。下面介绍一些具体的用法。 关于数据表的创 阅读全文

posted @ 2016-07-10 10:13 不秩稚童 阅读(828) 评论(0) 推荐(0)