摘要：在成功完成基金净值爬虫的爬虫后，简单了解爬虫的一些原理以后，心中不免产生一点困惑——为什么我们不能直接通过Request获取网页的源代码，而是通过查找相关的js文件来爬取数据呢？ 有时候我们在用requests抓取页面的时候，得到的结果可能和浏览器中看到的不一样：浏览器中可以看到正常显示的页面数据， 阅读全文

摘要：在简单完成了基金净值爬取以后，我们对中间的过程可能产生了很多疑惑，即使完成了目标，也仅仅是知其然而不知其所以然，而为了以后爬虫任务的顺利进行，对爬虫过程中所涉及的原理进行掌握是十分有必要的。 本文将会针对之前爬虫过程中所涉及到的几个爬虫原理进行简单的阐述。 url究竟是什么？它的构成有什么规律可循？ 阅读全文

摘要：相信很多金融类的从业者和学者都比较偏好于爬取金融类数据，比如博主我✧(≖ ◡ ≖✿) 在完成了简单的环境配置后，博主我安耐不住鸡冻的心情，打算先爬个基金数据以解手痒，顺便通过这个案例简单了解一下其中涉及到的一些爬虫原理 环境 tools 1、Chrome及其developer tools 2、pyt 阅读全文

摘要：Python作为当下最热门的程序语言之一，已经吸引越来越多人带着好奇跨入代码的世界。对于很多工作本身并不依赖于代码，却又急需通过这些编程工具跟上智能化时代的步伐的人来说，Python无疑是很好的入门语言，然而，在迅速学会了基础的操作后，如何通过实践进行进一步的提升和应用成了很大的问题。此时，爬虫本身 阅读全文

摘要：在成功获取微博用户的列表之后，我们可以对每个用户的主页内容进行爬取了 环境 tools 1、chrome及其developer tools 2、python3.6 3、pycharm Python3.6中使用的库 爬取字段确定 首先，我们只管的浏览用户主页，点击全部微博，观察我们能获取到的信息： 用 阅读全文

摘要：在成功登陆之后，我们可以进行下一波操作了~ 接下来，我们的目的是通过输入关键字，找到相关用户，并收集用户的一些基本信息 环境 tools 1、chrome及其developer tools 2、python3.6 3、pycharm Python3.6中使用的库 关键词搜索 我们首先在微博首页输入关 阅读全文

摘要：因为项目原因，我被领导委任爬取微博用户的一些信息，而作为一个爬虫经验几乎为0的python非老司机，开始了漫长的研究之路。。。。 在了解了爬虫的基本工具和著名框架scrapy后 博主还是决定自己参考网上的各路大神的脚本，写一个登录脚本。。。。 环境 tools 1、Chrome及其developer 阅读全文