天叔

摘要： 数据获取 数据返回值 数据划分API 阅读全文

摘要： 经验Experience（E）、任务Task（T）、任务完成效果的衡量指标Performance measure（P）。 有了这三个概念，机器学习的定义可以更加严谨：就是在有了经验E的帮助后，机器完成任务T的衡量指标P会变得更好。 归一化： x1 = (x - min) / (max - min) 阅读全文

摘要： 初步： 柱状图： 折线图： 散点图： 直角坐标系 饼图 仪表盘 地图 雷达图 主题 调色盘 样式 自适应 动画 全局Echarts方法 init：初始化Echarts实例对象；使用主题 registerTheme：注册主题；只有注册过的主题，才能在init方法中使用 registerMap：注册地图 阅读全文

摘要： 抓包 调试 扣取js 扣全了吗 this是谁啊 改写 本地运行出值 常见的一些加密方式 取盐校验 不可逆 md5　md2　md4 带密码的md5（hmac) md5 默认key　0123456789abcedf 16位的 32位的 40位的 123456 49ba59abbe56e057 e10ad 阅读全文

摘要： 五大核心组件作用 引擎（Scrapy）：用来整个系统的数据流处理，触发事物（框架核心） 调度器（Sheduler）：用来接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回，可以想象成一个URL的优先队列，由它来决定下一个要抓取的网址，同时去除重复网址 下载器（Downloader）：用于下 阅读全文

摘要： 异步爬虫的方式： —— 1.多线程, 多进程（不建议）： 好处：可以为相关阻塞的操作单独开启线程或者进程，阻塞操作就可以异步执行。 弊端：无法无限制的开启多线程或者多进程。 —— 2.线程池、进程池（适当的使用）： 好处：可以降低系统对进程或者线程创建和销毁的一个频率，从而很好的降低系统的开销。 弊 阅读全文

摘要： 话不多说，直接上代码，如果爬取代码失效了，可以留下言，我看到会改。 import requests from lxml import etree from multiprocessing.dummy import Pool import re headers = { 'User-Agent': 'M 阅读全文

摘要： http/https协议特性：无状态 没有请求到对应页面数据的原因： 发起的第二次基于个人主页页面请求的时候，服务器端并不知道该此请求是基于登陆状态下的请求。 cookie：用来让服务器端记录客户端的相关状态。 —— 手动处理： 通过抓包工具获取cookie值， 将该值封装到headers中。（不建 阅读全文

摘要： xpath解析：最常用且最便捷高效的一种解析方式。通用性。 —— xpath解析原理： —— 1.实例化一个etree的对象，且需要将被解析的页面源码数据记载到该对象中 —— 2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。 —— xpath('xpath表 阅读全文

摘要： 如何实例化BeautifulSoup对象： —— from bs4 import BeautifulSoup —— 对象的实例化： —— 1. 将本地的html文档中的数据加载到该对象中 fp = open('./test.html', 'r', encoding='utf-8') soup = B 阅读全文