摘要： 在爬虫过程中有些网站可以识别出你是通过浏览器访问还是爬虫程序访问网站，如果识别出使用的不是浏览器，则会禁止访问或者禁止该用户在网站上的其他行为，比如不允许登录等，这时我们需要继续获取数据就需要使用浏览器伪装技术。我们可以学习一些简单的浏览器防伪装技术，如设置 Header 信息中的 User-Age 阅读全文

摘要： 圣诞节又到了，又是一个天上飞着驯鹿、家里摆着圣诞树、树下还有礼物的日子。上班路上看到很多店家都在店里摆了一颗挂满礼物盒的圣诞树，很多朋友也会在网上购买一颗小小的圣诞树来过一个氛围感满满的圣诞节。 今天我们就使用python爬虫技术看下淘宝上圣诞树的价格信息，给大家做个参考。在爬取数据前我们需要了解， 阅读全文

摘要： 最近由于工作的需要，独自开始研究爬虫爬取互联网数据，经过一段时间的探究，踩过许多坑，也学习到了许多以往不知道的知识。在这里总结一下经验，顺便分享给大家，希望可以帮助到有需要的朋友，当然如果有爬虫大佬能够不吝赐教那就更好啦。 大部分人都是使用的python来实现爬虫的，因为自己学的是java，也没更多 阅读全文

摘要： 一直以来跟大家分享了很多爬虫的知识给大家，今天就换一种爬虫知识分享，一些较为高效的Python爬虫框架，分享给大家。 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。用这个框架来访问一些比较难采集的网站是很好的选择 阅读全文

摘要： 哈罗，大家好啊，之前跟大家分享过很多关于爬虫的知识，今天给大家继续带来干货，JS逆向。 网站的反爬措施有很多，例如：js反爬、ip反爬、css反爬、字体反爬、验证码反爬、滑动点击类验证反爬等等，今天我们通过爬取某招聘来实战ip反爬。 今日访问的目标网站：https://www.zhipin.com/ 阅读全文

摘要： 大家经常都在网易云上听音乐，而且上面还有很多感人的故事，也有很多人在上面发表评论，关于网易云音乐的评论我早就想爬了，之前是因为太忙没时间爬，这两天的时间闲了，这里我分享给大家用最简单的方法实现网易云音乐评论的爬取，我们就以毛不易的《消愁》为例来介绍一下 数据抓取首先，我们用电脑打开网易云音乐这条视频 阅读全文

摘要： 虽然EDG夺冠已经过去了一段时间，但是当时的火爆程度是很大的，这个比赛一直也是备受全网瞩目，在比赛时，微博热搜第一名，足足有8194万人观看。并且在bilibili平台，吸引3.5亿人气，满屏弹幕；腾讯视频600万人看过；斗鱼和虎牙平台的热度也是居高不下；比赛结束后，央视新闻也发微博祝贺EDG战队夺 阅读全文

摘要： 许久不开车的我发现最近的油价疯狂的在涨呀，所以特地去了解了下新闻，原来随着国际原油价格不断攀升，全球各国加油站的汽油价格几乎都是水涨船高。数据显示，今年以来，国际原油价格飙涨了60%以上，与此同时，供各国消费者所使用的汽油价格自然也是水涨船高，真心的要开不起车啦。 今天我们就通过python来分析下 阅读全文

摘要： 为何要设置User Agent？ 作为爬虫我们都知道，很多网站是做了反爬策略的，特别是爬虫程序这样的非人点击访问，网站更不会让你继续访问，这时我们的应对策略就是需要隐藏自己的爬虫程序的身份。我们就可以通过设置User Agent的来达到隐藏身份的目的，User Agent的中文名为用户代理，简称UA 阅读全文

摘要： 最近被好几个好友安利《鱿鱼游戏》，虽然我没有去看，但是也知道这部剧在九月末的热度不是一般的高，微博热搜经常都有，豆瓣超过20万人打分，并且热度还在持续飙升中。该剧由《熔炉》导演黄东赫执导，由李政宰、朴海秀合作主演，之前火到已经达到了Netflix TV Show世界榜第2名，韩剧排行榜第1名。 今天 阅读全文