随笔分类 - Python全栈开发二期
Python全栈开发在学小白一枚，主要存放每一天的笔记或者感悟
摘要：# 【一】网络相关名字 ## 【1】子网掩码 - 子网掩码是用于确定IP地址中网络部分和主机部分的标识符。 - 它是一个32位的二进制数字，与IP地址进行按位与运算，用以划分IP地址的网络号和主机号。 - 子网掩码中的1表示对应位置是网络号，而0表示对应位置是主机号。 - 子网掩码的主要作用是用来确
阅读全文
摘要：# 【一】虚拟环境搭建详解 - 虚拟环境搭建是一种在计算机上创建和模拟多个独立操作系统实例的技术，从而使得一个物理计算机能够同时运行多个虚拟的操作系统环境。 - 这种技术可以提供更好的资源利用、隔离性、灵活性和可移植性。 ## 【1】KVM（Kernel-based Virtual Machine）
阅读全文
摘要：# 【一】什么是操作系统 > - Operating System(操作系统) 简称OS > - Windows，MacOS，Linux都是操作系统 - 操作系统（Operating System）是计算机系统中的核心软件，它管理并控制计算机硬件和软件资源，为用户和应用程序提供统一的接口和环境。 -
阅读全文
摘要：# [【一】初识爬虫](https://www.cnblogs.com/dream-ze/p/17647599.html) # [【二】爬虫核心之requests](https://www.cnblogs.com/dream-ze/p/17647600.html) # [【三】爬虫解析之Beauti
阅读全文
摘要：# 【补充】代理池搭建 ## 【1】引入 - 代理池是一种用于获取可用代理服务器的工具，可以帮助用户在发送请求时隐藏真实IP地址并提高访问稳定性。 > - 开源的代理池核心原理：https://github.com/jhao104/proxy_pool > - 1 使用爬虫技术，爬取网上免费的代理
阅读全文
摘要：# 【一】后端防爬虫 后端防爬虫是指通过一系列措施和技术手段来保护网站或应用程序不受到未经授权的自动化访问（爬取）的影响。 # 【二】频率限制（IP、用户） - 使用限流算法，例如令牌桶算法或漏桶算法，在单位时间内限制同一IP地址或用户的请求次数。 - 为每个请求标识唯一的身份信息，如IP地址或用户
阅读全文
摘要：# 【一】HTTP和HTTPS的区别 - HTTP协议的英文全称是**Hyper Text Transfer Protocol**，它是一种用于传输超文本的应用层协议。 - HTTP在Web浏览器和Web服务器之间进行通信时使用，它通过客户端发送请求来获取Web资源，并通过服务器响应返回请求的结果。
阅读全文
摘要：# 【一】前提：代理池搭建 ## 【1】引入 - 代理池是一种用于获取可用代理服务器的工具，可以帮助用户在发送请求时隐藏真实IP地址并提高访问稳定性。 > - 开源的代理池核心原理：https://github.com/jhao104/proxy_pool > - 1 使用爬虫技术，爬取网上免费的代
阅读全文
摘要：# 【案例】登陆博客园 ## 【1】思路分析 - 打开cnblogs - 点进登录页面 - 输入用户名密码 - 点登录(可能会出现验证码) 手动操作跳过验证码 - 登录成功后 - 拿到cookie - 保存到本地 - 关闭浏览器 - 开启selenium，打开浏览器 - 把本地的cookie写入到当
阅读全文
摘要：# 【一】引言 ## 【1】启动Spider项目位置 > - **注意：** > - **如果终端还在第一个项目的文件夹中，则需要在终端中执行cd ../返回到上级目录，在去新建另一个项目。** ## 【2】新建数据解析项目 ### （1）创建工程 ```shell scrapy startproj
阅读全文
摘要：# 【一】Scrapy框架基本介绍 ## 【1】Scrapy一个开源和协作的框架 - 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， - 使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。 - 但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以
阅读全文
摘要：# web自动化 - 随着互联网的发展，前端技术也在不断变化，数据的加载方式也不再是单纯的服务端渲染了。 - 现在你可以看到很多网站的数据可能都是通过接口的形式传输的， - 或者即使不是接口那也是一些 JSON 的数据，然后经过 JavaScript 渲染得出来的。 - 这时，如果你还用 reque
阅读全文
摘要：# 【**xpath解析**】 - xpath在Python的爬虫学习中，起着举足轻重的地位，对比正则表达式 re两者可以完成同样的工作，实现的功能也差不多，但xpath明显比re具有优势，在网页分析上使re退居二线。 - xpath 全称为**XML Path Language** 一种小型的**
阅读全文
摘要：# 【BS4模块】 > - 参考博客：https://www.cnblogs.com/dream-ze/p/17180395.html # 【一】简介 ## 【1】介绍与安装 - 简单来说，Beautiful Soup是python的一个库 - 最主要的功能是从网页抓取数据。 - 官方解释如下： `
阅读全文
摘要：# 【一】**Requests**模块简介 ## 【1】简解 - Requests 是⽤Python语⾔编写，基于urllib，采⽤Apache2 Licensed开源协议的 HTTP 库。 - 它⽐ urllib 更加⽅便，可以节约我们⼤量的⼯作，完全满⾜HTTP测试需求。 - 是一个功能强大、简
阅读全文
摘要：# 【一】Python爬虫简介 - Python爬虫是一种自动化获取互联网数据的技术，它通过编写程序实现自动访问网站并抓取所需的数据。 # 【二】爬虫的定义 - 爬虫是一种自动化获取互联网数据的技术，通过模拟浏览器行为，向目标网站发送请求并获取响应，然后解析响应中的数据。 - 应用领域：爬虫可以应用
阅读全文
摘要：# 【一】路飞项目Gitee链接 ## [【1】Gitee之路飞项目前端](https://gitee.com/chi-meng/luffy-project-web) ## [【2】Gitee之路飞项目后端](https://gitee.com/chi-meng/luffy-project-api)
阅读全文
摘要：# 【一】Docker部署Minio容器 ## 【1】Minio容器介绍 - Minio是一个开源的对象存储服务器，使用Apache License v2.0开源协议。 - 它提供了一个存储桶(bucket)的概念，类似于文件系统中的目录，用于存储对象文件。 - Minio与亚马逊S3云存储服务兼容
阅读全文
摘要：# 【补充】视频托管 - 在处理静态文件（如视频、图片、压缩文件等）时 - 通常的做法是将这些文件从项目的媒体文件夹（media folder）中分离出来 - 以避免项目变得庞大且难以管理。 - 取而代之的是使用第三方的文件托管平台来存储这些文件。 - 以下是一些常见的第三方文件存储平台选项： -
阅读全文
摘要：> - 在计算机编程中，字符（Character）和字节（Byte）是两个有关数据表示和处理的重要概念。 > # 【一】字符（Character）： - 字符代表着某种可视或可打印的符号，例如字母、数字、标点符号、特殊符号等。 - 在计算机内部，字符使用字符编码来表示，最常见的字符编码是 ASCII
阅读全文
浙公网安备 33010602011771号