不作声

摘要： 什么是布隆过滤器 布隆过滤器本质上是一种概率型的数据结构，用于检索一个元素是否在集合中，它将告诉你一个数据“一定不存在或可能存在。 布隆过滤器由一个很长的二进制向量（位向量、位数组、Bit Array）和一系列的随机映射函数组成。 布隆过滤器的优点是高效、占用空间少。但缺点是返回的 结果是概率性的 阅读全文

摘要： 国际标准化组织（ISO）指定了一个计算机或通信系统间互联的标准体系，一般称为OSI参考模型或七层模型。做前端肯定少不了和网络打交道，所以前端知识栈中必有网络协议。 首先我们要知道，UDP和TCP工作在七层模型中的传输层。然后我们需要了解这两种协议的特点以及根据特点使用在合适的场景中。 TCP传输控制 阅读全文

摘要： 数据库存储 数据库可以结构化存储大量数据，同时还可以有效的保证数据的完整性、一致性，降低数据冗余。而且数据库还可以满足应用的共享和安全方面的要求，方便智能化地分析数据，产生新的有用的信息。 将数据存储到mysql数据库中需要下载 库，然后再pipelines文件中进行数据处理。 声明一个pipeli 阅读全文

摘要： Docker是一个开源的容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的Linux或Windows机器上，也可以实现虚拟化。 简单来说，Docker是一种近来很流行的虚拟化技术。 Docker VS 传统虚拟化技术 传统虚拟机技术是虚拟出一套硬件后，在其上运行 阅读全文

摘要： 1、React是什么 React是一个为数据提供渲染为HTML视图的开源JavaScript库。拥有虚拟DOM、组件化设计模式、声明式代码、单向数据流、使用JSX描述UI信息等特点。 2、 Real DOM和Virtual DOM React不直接操作DOM，而是实现了Virtual DOM，组件D 阅读全文

摘要： 图片方面 一般常见的图片优化方法有： 减小文件体积 减少图片资源请求数量 几种图片比较： 大小比较：通常是 png ≈ jpg gif 透明性：png gif jpg 色彩丰富度：jpg png gif 兼容程度：gif ≈ jpg png 图片优化加载的几种方式： 1、不用图片。很多修饰类图片可以 阅读全文

摘要： 多页爬取 上次说到电视剧的列表信息是通过Ajax网络请求获取到数据的，当我们打开页面的时候，页面再向另一地址发出请求，得到数据后再渲染到网页上，我们是在network中找到的目标url。所以说，当我们想要爬取第二页，第三页以后的内容所要请求的url都可以在network中找到。 我们请求的目标url 阅读全文

摘要： 两类型语言 一、 编译型语言 ：在程序执行之前必须进行专门的编译过程，如C、C++、Java等。 编译型语言有以下特点： 只需编译一次 就可以把源代码 编译成机器语言 ，后边的执行 无需重新编译 ，直接使用之前的编译结果就可以，因此 执行效率比较高 。 程序执行效率比较高，但比较依赖编译器，因此 跨 阅读全文

摘要： 动态网页分析 按照上一篇的分析，直接使用XPath找到该标签，然后通过parse提取出数据，在写入到item中就完事了。但是，当信心满满的写完代码后却发现，控制台输入了一个简简单单的 。 小问号你是否有很多朋友。 一顿操作猛如虎，一看输出数据无。那么这到底是怎么回事呢？我们从头开始分析。 打开Net 阅读全文

摘要： 创建项目 使用 创建一个名为 的项目。 使用vscode打开项目，可以看见该项目的文件结构： 再一次介绍各文件的作用： scrapy.cfg：项目部署文件 spiders：存放爬虫文件的文件夹 items.py：保存爬取到的数据的容器 middlewares.py：中间件 pipelines.py： 阅读全文