摘要: 哈罗,大家好啊,之前跟大家分享过很多关于爬虫的知识,今天给大家继续带来干货,JS逆向。 网站的反爬措施有很多,例如:js反爬、ip反爬、css反爬、字体反爬、验证码反爬、滑动点击类验证反爬等等,今天我们通过爬取某招聘来实战ip反爬。 今日访问的目标网站:https://www.zhipin.com/ 阅读全文
posted @ 2021-11-30 16:38 小橙子11 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 大家经常都在网易云上听音乐,而且上面还有很多感人的故事,也有很多人在上面发表评论,关于网易云音乐的评论我早就想爬了,之前是因为太忙没时间爬,这两天的时间闲了,这里我分享给大家用最简单的方法实现网易云音乐评论的爬取,我们就以毛不易的《消愁》为例来介绍一下 数据抓取首先,我们用电脑打开网易云音乐这条视频 阅读全文
posted @ 2021-11-22 16:29 小橙子11 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 虽然EDG夺冠已经过去了一段时间,但是当时的火爆程度是很大的,这个比赛一直也是备受全网瞩目,在比赛时,微博热搜第一名,足足有8194万人观看。并且在bilibili平台,吸引3.5亿人气,满屏弹幕;腾讯视频600万人看过;斗鱼和虎牙平台的热度也是居高不下;比赛结束后,央视新闻也发微博祝贺EDG战队夺 阅读全文
posted @ 2021-11-12 16:08 小橙子11 阅读(7) 评论(0) 推荐(0) 编辑
摘要: 许久不开车的我发现最近的油价疯狂的在涨呀,所以特地去了解了下新闻,原来随着国际原油价格不断攀升,全球各国加油站的汽油价格几乎都是水涨船高。数据显示,今年以来,国际原油价格飙涨了60%以上,与此同时,供各国消费者所使用的汽油价格自然也是水涨船高,真心的要开不起车啦。 今天我们就通过python来分析下 阅读全文
posted @ 2021-11-04 16:17 小橙子11 阅读(14) 评论(0) 推荐(0) 编辑
摘要: 为何要设置User Agent? 作为爬虫我们都知道,很多网站是做了反爬策略的,特别是爬虫程序这样的非人点击访问,网站更不会让你继续访问,这时我们的应对策略就是需要隐藏自己的爬虫程序的身份。我们就可以通过设置User Agent的来达到隐藏身份的目的,User Agent的中文名为用户代理,简称UA 阅读全文
posted @ 2021-10-26 16:15 小橙子11 阅读(13) 评论(0) 推荐(0) 编辑
摘要: 最近被好几个好友安利《鱿鱼游戏》,虽然我没有去看,但是也知道这部剧在九月末的热度不是一般的高,微博热搜经常都有,豆瓣超过20万人打分,并且热度还在持续飙升中。该剧由《熔炉》导演黄东赫执导,由李政宰、朴海秀合作主演,之前火到已经达到了Netflix TV Show世界榜第2名,韩剧排行榜第1名。 今天 阅读全文
posted @ 2021-10-18 16:28 小橙子11 阅读(58) 评论(0) 推荐(0) 编辑
摘要: 北上广深作为打工人最多的超一线城市,大部分都是租房生活着,自如作为目前第三方租房平台,应该算是该行业的龙头。那么自如都有多少open状态的房源呢,这些房源都是什么样的呢?今天我们获取了一些自如北上广深四个城市房源信息,这里就以上海的数据来做详细的介绍吧。 我发现自如的每个筛选结果最多展示50页,约1 阅读全文
posted @ 2021-10-11 16:30 小橙子11 阅读(12) 评论(0) 推荐(0) 编辑
摘要: 现如今无论互联网行业发展到何种地步,“资源”永远是互联网公司必不可少的弹药粮草。毋庸置疑,每一个互联网公司都离不开大数据。那么数据从而何来呢?肯定是来自于爬虫呀,目前网络上已经有很多不同类型的爬虫了,不管是企业为了研究数据而编写的爬虫,还是为了搜索引擎为了抓取数据而编写的爬虫。总之网络爬虫数据的获取 阅读全文
posted @ 2021-09-28 16:10 小橙子11 阅读(13) 评论(0) 推荐(0) 编辑
摘要: 中秋放假期间运气真的不要太好,收到了交警送的“中秋礼物”,内心真的无法开心呀。大家或许都一样因为各种违章收到过交警的罚单,被扣分扣钱是我们不乐意的,所以我们在开车期间还是需要随时都牢记交通规则。 刚好最近初学Python,就想练练手,今天就学习下用Python爬虫自动化抓取违章信息,目标网站http 阅读全文
posted @ 2021-09-22 16:19 小橙子11 阅读(16) 评论(0) 推荐(0) 编辑
摘要: 所谓隧道代理,就是一个能帮你自动更换代理 IP 的代理服务。在你的代码里面,你只需要把一个入口代理地址写死,然后正常发起请求,而目标服务器接收到的请求,每一次都是不同的代理地址。隧道代理的原理,跟常规代理的不同之处,是自动转发技术,通过配置固定代理域名、端口、用户名和密码直接使用,默认每个http请 阅读全文
posted @ 2021-09-06 16:45 小橙子11 阅读(76) 评论(0) 推荐(0) 编辑