毕达哥拉斯

摘要：Python有很多好用的框架，在爬虫领域，最重要的就是Scrapy框架了。 1、安装与启动 安装（命令行） pip3 install scrapy 创建scrapy项目（命令行进到要建立scrapy项目的目录下）： scrapy startproject 项目名 创建爬虫（命令行）： scrapy 阅读全文

摘要：现在手机应用越来越多，大家也都习惯了用手机上网，爬取手机上的数据就成为爬虫们的必要工作。 爬取手机资料的基本原理是用抓包工具抓取手机访问网页或者APP过程中的数据，然后进行解析。 因为手机上的数据大部分是格式化的，主要是json格式，所以相对来说解析比较容易，难度主要就在于如何抓包， 并从一大堆杂乱 阅读全文

摘要：现在很多网站用的是动态网页加载技术，这时候用前面的request库和BS4库就不能解决问题了，需要用新的办法。 打开网页，按F12或者右键弹出菜单里选择“检查”，右侧会打开开发者工具。 这里有一排菜单，最左边的是Element，显示的是网页的源代码，如果在这里能直接找到所需要爬取的内容，就说明这是静 阅读全文

摘要：​1、基本情况 对于静态网页，只需要应用两个库就可以解决，requests库 和 BeautifulSoup4库。 1.1简介 Beautiful Soup 是 python 的一个库，最主要的功能是从网页抓取数据。 BeautifulSoup4是爬虫必学的技能。BeautifulSoup最主要的功 阅读全文

摘要：浏览器工作原理 我们在浏览器的地址栏输入网址（URL,全称为Uniform Resource Locator,统一资源定位器）。 然后，浏览器向服务器传达了我们想访问某个网页的需求，这个过程就叫做【请求】。 紧接着，服务器把你想要的网站数据发送给浏览器，这个过程叫做【响应】。 当服务器把数据响应给浏 阅读全文