08 2020 档案
摘要：1 创建项目目录 cd 项目根目录 vue init webpack 客户端项目目录 例如，我要把项目保存在~/Desktop桌面目录下，可以如下操作： cd ~/Desktop/renran vue init webpack renran_pc 把vue项目构建好了，运行测试服务器。 接下来，在u
阅读全文
摘要：日志配置 dev.py # 日志文件配置 LOGGING = { 'version': 1, 'disable_existing_loggers': False, 'formatters': { 'verbose': { 'format': '%(levelname)s %(asctime)s %(
阅读全文
摘要：Flask简介 Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架，对于Werkzeug本质是Socket服务端，其用于接收http请求并对请求进行预处理，然后触发Flask框架，开发人员基于Flask框架提供的功能对请求进行相应的处理，并返回
阅读全文
摘要：1 安装python rabbitMQ module pip install pika # or easy_install pika # or # 源码 https://pypi.python.org/pypi/pika 实现最简单的队列通信 send端 import pika # 生产者 cred
阅读全文
摘要：一、RabbitMQ安装 1.下载Erlang的rpm包 RabbitMQ是Erlang语言编写，所以Erang环境必须要有，注：Erlang环境一定要与RabbitMQ版本匹配：https://www.rabbitmq.com/which-erlang.html Erlang下载地址：https:
阅读全文
摘要：1 环境准备 在需要监控的服务器上： a.安装openssh b.安装Python3 c.安装psutil (pip3 install psutil) d.确保本地与远程机器的22端口的连通 2 执行文件准备（放在被监控的机器上） 例如下面的代码主要监控CPU、内存和硬盘的信息： monitor.p
阅读全文
摘要：1 paramiko模块安装 paramiko是一个用于做远程控制的模块，使用该模块可以对远程服务器进行命令或文件操作，基于linux中的ssh服务 paramiko属于第三方模块，需要安装导入 # pip3 install paramiko 2 使用paramiko #设置ssh连接的远程主机地址
阅读全文
摘要：mysql的并发操作时而引起的数据的不一致性（数据冲突）： 丢失更新：两个用户（或以上）对同一个数据对象操作引起的数据丢失。 解决方案：1.悲观锁，假设丢失更新一定存在；sql后面加上for update；这是数据库的一种机制。 2.乐观锁，假设丢失更新不一定发生。update时候存在版本，更新时候
阅读全文
摘要：1. 环境搭建 1.1 创建虚拟环境 # 如果当前系统中没有虚拟环境，则使用以下命令安装虚拟环境： # pip3 install virtualenv -i https://pypi.tuna.tsinghua.edu.cn/simple # pip3 install virtualenvwrapp
阅读全文
摘要：2.1 登录注册 功能：用户登录、多条件登录、jwt认证、记住密码、QQ第三方登录、 用户注册、短信发送、短信冷却倒计时、腾讯防水墙验证码、Celery异步发送短信和邮件 邮箱找回重置密码、使用itsdangerous对数据进行加密解密 2.2 首页 功能：无限级别导航菜单、轮播图、退出登录、内容列
阅读全文
摘要：1. 项目开发基础概念 1.1 企业的web项目类型 1、 商城 主要把现实中的商务交易通过互联网平台实现的电子交易模式的网站。商城会根据不同的交易双方划分成不同的电子商务模式。根据不同的电子商务模式，有可能把商城划分成不同类型的商城，常见的电子商务模式： B2C[企业对个人的交易，由企业提供商品，
阅读全文
摘要：django 对接elasticsearch实现全文检索 第一步：安装elasticsearch环境（docker安装） 拉取镜像 # docker image pull delron/elasticsearch-ik:2.4.6-1.0 运行容器 # docker run -d -p 9200:9
阅读全文
摘要：1、下载地址 https://download.docker.com/win/stable/Docker%20Desktop%20Installer.exe 2、安装，默认操作下一步、下一步 直接安装 3、更改镜像源（右击右下角任务栏中docker图标，选择settings）如图输入： "https
阅读全文
摘要：1 user-agent 2 referer 3 cookie（cookie池，先访问一次） 4 频率限制（代理池，延迟） 5 js加密（扣出来，exjs模块指向） 6 css加密 7 验证码（打码平台），半手动 8 图片懒加载
阅读全文
摘要：一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedul
阅读全文
摘要：scrapy自带去重策略： 参考：https://www.cnblogs.com/liuqingzheng/p/16005880.html 配置文件： DUPEFILTER_CLASS = 'scrapy.dupefilters.RFPDupeFilter' # 默认的去重规则帮我们去重，去重规则在
阅读全文
摘要：示例： def process_exception(self, request, exception, spider): # Called when a download handler or a process_request() # (from other downloader middlewa
阅读全文
摘要：# 当前爬虫用的selenium是同一个 1、在爬虫中初始化webdriver对象 import scrapy from selenium import webdriver class CnblogSpider(scrapy.Spider): name = 'cnblog' allowed_doma
阅读全文
摘要：middleware.py # 下载中间件 # middlewares.py -process_request：返回不同的对象，后续处理不同（加代理...） class CnblogsDownloaderMiddleware: @classmethod def from_crawler(cls, c
阅读全文
摘要：方法： - 在配置文件中进行相关的配置即可:(默认还有一套setting) #1 增加并发： 默认scrapy开启的并发线程为32个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。 #2 降低日志级别： 在运行s
阅读全文
摘要：示例： import scrapy from firstscrapy.items import CnblogsMysqlItem class CnblogsSpider(scrapy.Spider): name = 'cnblogs' allowed_domains = ['www.cnblogs.
阅读全文
摘要：1、爬取cnblogs首页文章，打印出标题和连接地址 spiders/cnblogs.py import scrapy class CnblogsSpider(scrapy.Spider): name = 'cnblogs' allowed_domains = ['www.cnblogs.com']
阅读全文
摘要：一 介绍（爬虫界的django） Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(
阅读全文
摘要：爬取豆瓣top250电影：https://movie.douban.com/top250 from selenium import webdriver import time bro = webdriver.Chrome(executable_path='./chromedriver.exe') #
阅读全文
摘要：一 介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selenium
阅读全文
摘要：XPath 简介 XPath 是一门在 XML 文档中查找信息的语言。 # xpath: XPath 是一门在 XML 文档中查找信息的语言 # / :从根节点选取。 # // :不管位置，直接找 # /@属性名 # /text() # 会复制（） xpath # pip3 install lxml
阅读全文
摘要：1、爬取三国演义http://www.shicimingju.com/book/sanguoyanyi.html 代码： import requests from bs4 import BeautifulSoup res = requests.get('https://www.shicimingju
阅读全文
摘要：# 1 验证码破解 图像处理 # 2 专业打码平台，破解验证码（收费） # 申请超级鹰，注册 # 登录，下载sdk（代码如下），填入用户名密码，软件id 将下载好的包中文件导入到项目 1、把py文件中的tab符号都替换掉，使用python3的话将prient改一下，再将用户名，密码，以及软件id输入
阅读全文
摘要：1、使用第三方(git clone下来) # github，下载免费代理池开源代码（建议读一下别人的代码） # https://github.com/jhao104/proxy_pool 2、运行起git clone的代理项目，安装必要依赖 # 项目根目录（pycharm终端） # pip3 ins
阅读全文
摘要：回顾： # 1 爬虫原理：发送请求 》解析 》入库 # 2 Http协议 -请求协议：请求首行（请求方法，请求版本号：1.1），请求头(客户端类型，referer，Connection: Keep-Alive，Cookie，自定制)，请求体（编码格式：json，urlencoded，fromdata
阅读全文
浙公网安备 33010602011771号