摘要：
反射介绍 反射就是在运行期间（不是编译期间）探知对象的类型信息和内存结构、更新变量、调用它们的方法。 反射的使用场景： 函数的参数类型是interface{}，需要在运行时对原始类型进行判断，针对不同的类型采取不同的处理方式。比如json.Marshal(v interface{})。 在运行时根据
阅读全文
posted @ 2022-09-10 22:35
屠魔的少年
阅读(6)
推荐(0)
摘要：
面向接口编程 接口的基本概念 接口是一组行为规范的集合。 type Transporter interface { //定义接口。通常接口名以er结尾 //接口里面只定义方法，不定义变量 move(src string, dest string) (int, error) //方法名 (参数列表)
阅读全文
posted @ 2022-09-10 22:26
屠魔的少年
阅读(6)
推荐(0)
摘要：
函数 函数的基本形式 //函数定义。a,b是形参 func argf(a int, b int) { a = a + b } var x, y int = 3, 6 argf(x, y) //函数调用。x,y是实参 形参是函数内部的局部变量，实参的值会拷贝给形参。 函数定义时的第一个的大括号不能另起
阅读全文
posted @ 2022-09-10 22:17
屠魔的少年
阅读(5)
推荐(0)
摘要：
结构体 结构体创建、访问与修改 定义结构体 type user struct { id int score float32 enrollment time.Time name, addr string //多个字段类型相同时可以简写到一行里 } 声明和初始化结构体 var u user //声明，会
阅读全文
posted @ 2022-09-10 22:13
屠魔的少年
阅读(6)
推荐(0)
摘要：
流程控制语句 if if 5 > 9 { fmt.Println("5>9") } 如果逻辑表达式成立，就会执行{}里的内容。 逻辑表达式不需要加()。 "{"必须紧跟在逻辑表达式后面，不能另起一行。 if c, d, e := 5, 9, 2; c < d && (c > e || c > 3)
阅读全文
posted @ 2022-09-10 21:54
屠魔的少年
阅读(5)
推荐(0)
摘要：
数据类型概览 基础数据类型 类型 长度(字节) 默认值 说明 bool 1 false byte 1 0 uint8，取值范围[0,255] rune 4 0 Unicode Code Point, int32 int, uint 4或8 0 32 或 64 位，取决于操作系统 int8, uint
阅读全文
posted @ 2022-09-10 21:38
屠魔的少年
阅读(5)
推荐(0)
摘要：
标识符与关键字 go变量、常量、自定义类型、包、函数的命名方式必须遵循以下规则： 首字符可以是任意Unicode字符或下划线。 首字符之外的部分可以是Unicode字符、下划线或数字。 名字的长度无限制。 理论上名字里可以有汉字，甚至可以全是汉字，但实际中不要这么做。 Go语言关键字 break d
阅读全文
posted @ 2022-09-10 21:31
屠魔的少年
阅读(3)
推荐(0)
摘要：
在实际的项目中很多时候需要用到下载功能，如导excel、pdf或者文件下载，当然你可以使用web服务自己搭建可以用于下载的资源服务器，如nginx，这里我们主要介绍django中的文件下载。 我们这里介绍三种Django下载文件的简单写法，然后使用第三种方式，完成一个高级一些的文件下载的方法 ind
阅读全文
posted @ 2022-08-30 17:44
屠魔的少年
阅读(11)
推荐(0)
摘要：
一、settings配置文件中配置 MEDIA_URL = '/media/' MEDIA_ROOT = os.path.join(BASE_DIR, 'medias').replace('\\', '/')#media即为图片上传的根路径 二、url路由中配置 urlpatterns = [ ur
阅读全文
posted @ 2022-08-30 17:43
屠魔的少年
阅读(6)
推荐(0)
摘要：
一 前戏 我们在前面的课程中已经学会了给视图函数加装饰器来判断是用户是否登录，把没有登录的用户请求跳转到登录页面。我们通过给几个特定视图函数加装饰器实现了这个需求。但是以后添加的视图函数可能也需要加上装饰器，这样是不是稍微有点繁琐。 学完今天的内容之后呢，我们就可以用更适宜的方式来实现类似给所有请求
阅读全文
posted @ 2022-08-30 17:42
屠魔的少年
阅读(4)
推荐(0)
摘要：
一 会话跟踪 我们需要先了解一下什么是会话！可以把会话理解为客户端与服务器之间的一次会晤，在一次会晤中可能会包含多次请求和响应。例如你给10086打个电话，你就是客户端，而10086服务人员就是服务器了。从双方接通电话那一刻起，会话就开始了，到某一方挂断电话表示会话结束。在通话过程中，你会向1008
阅读全文
posted @ 2022-08-30 17:40
屠魔的少年
阅读(9)
推荐(0)
摘要：
一 .Django之CSRF 1.CSRF 简介 跨站请求伪造（CSRF）与跨站请求脚本正好相反。跨站请求脚本的问题在于，客户端信任服务器端发送的数据。跨站请求伪造的问题在于，服务器信任来自客户端的数据。 无CSRF时存在的隐患 跨站请求伪造是指攻击者通过HTTP请求江数据传送到服务器，从而盗取回话
阅读全文
posted @ 2022-08-27 21:41
屠魔的少年
阅读(8)
推荐(0)
摘要：
一 Ajax简介 1.简介 AJAX（Asynchronous Javascript And XML）翻译成中文就是“异步的Javascript和XML”。即使用Javascript语言与服务器进行异步交互，传输的数据为XML（当然，传输的数据不只是XML,现在更多使用json数据）。 AJAX 不
阅读全文
posted @ 2022-08-27 18:03
屠魔的少年
阅读(5)
推荐(0)
摘要：
一 锁 行级锁 select_for_update(nowait=False, skip_locked=False) #注意必须用在事务里面，至于如何开启事务，我们看下面的事务一节。 返回一个锁住行直到事务结束的查询集，如果数据库支持，它将生成一个 SELECT ... FOR UPDATE 语句。
阅读全文
posted @ 2022-08-19 23:02
屠魔的少年
阅读(4)
推荐(0)
摘要：
一 Django的视图函数view 一个视图函数（类），简称视图，是一个简单的Python 函数（类），它接受Web请求并且返回Web响应。 响应可以是一张网页的HTML内容，一个重定向，一个404错误，一个XML文档，或者一张图片。 无论视图本身包含什么逻辑，都要返回响应。代码写在哪里也无所谓，只
阅读全文
posted @ 2022-07-30 16:57
屠魔的少年
阅读(3)
推荐(0)
摘要：
select t1.THREAD_ID,t1.SQL_TEXT,t1.CURRENT_SCHEMA,\ t1.NESTING_EVENT_TYPE,t1.ROWS_EXAMINED, DATE_SUB(NOW(), INTERVAL (SELECT VARIABLE_VALUE FROM perfo
阅读全文
posted @ 2022-07-01 15:56
屠魔的少年
阅读(4)
推荐(0)
摘要：
默认是关闭的，开启方法： ##保存当前PS设置 CALL sys.ps_setup_save(-1); ##开启所有 stage 事件的监控 UPDATE performance_schema.setup_instruments SET ENABLED = 'YES', TIMED = 'YES'
阅读全文
posted @ 2022-07-01 15:54
屠魔的少年
阅读(4)
推荐(0)
摘要：
使用场景 当应用与数据库链路出现问题时，导致应用端反映数据库响应慢时，可以使用tcpdump同时在数据库与客户端进行抓包。对两个包进行对比确认是否数据库慢还是链路出现问题。 抓包命令 #数据库端进行抓包 tcpdump -s 65535 -x -nn -q -tttt -i eth0 port 33
阅读全文
posted @ 2022-07-01 15:52
屠魔的少年
阅读(12)
推荐(0)
摘要：
排查工具准备 gdb、chrome及Sourcegraph插件、VScode及Sourcegraph插件 确定Crash位置 1. 查看当前错误日志 MySQL异常崩溃，查看error日志，红框处为位置信息 注：如出现这种类似BUG信息，不应只看这部分信息，应先查看MySQL异常退出前是否存在报错信
阅读全文
posted @ 2022-07-01 15:35
屠魔的少年
阅读(6)
推荐(0)
摘要：
堆栈信息： 查看代码 Thread 477 (Thread 0x7f0aa5499700 (LWP 96086)): #0 0x00007f0aad6aa3fa in sigwaitinfo () from /lib64/libc.so.6 #1 0x0000000000f55adb in time
阅读全文
posted @ 2022-07-01 14:55
屠魔的少年
阅读(5)
推荐(0)
摘要：
csv文件写入 写入文件是一个非常简单的事情. 直接在pipeline中开启文件即可. 但这里要说明的是. 如果我们只在process_item中进行处理文件是不够优雅的. 总不能有一条数据就open一次吧 class CaipiaoFilePipeline: def process_item(se
阅读全文
posted @ 2022-05-31 17:56
屠魔的少年
阅读(8)
推荐(0)
摘要：
scrapy安装 在windows上安装scrapy是一个很痛苦的事情. 可能会出现各种各样的异常BUG. scrapy 2.5.1 -> scrapy-redis（0.7.2） 注意, 由于scrapy的升级. 导致scrapy-redis无法正常使用.所以这里我们选择2.5.1这个版本作为学习.
阅读全文
posted @ 2022-05-30 21:37
屠魔的少年
阅读(4)
推荐(0)
摘要：
scrapy简介 Scrapy的官方文档(英文): https://docs.scrapy.org/en/latest/ Scrapy工作流程 # 伪代码, 只为说明 def get_page_srouce(): resp = requests.get(xxxxx) return resp.text
阅读全文
posted @ 2022-05-30 21:33
屠魔的少年
阅读(21)
推荐(0)
摘要：
1. 能采集代理ip->用爬虫抓取 https://www.kuaidaili.com/free/ https://ip.jiangxianli.com/?page=1 把免费的ip存起来? redis最合适，查询效率最高的
阅读全文
posted @ 2022-05-27 00:27
屠魔的少年
阅读(13)
推荐(0)
摘要：
python处理redis使用专用的redis模块. 同样的, 它也是一个第三方库. pip install redis 普通连接 from redis import Redis red = Redis( host = "192.168.4.63", port = 6379, db = 0, pas
阅读全文
posted @ 2022-05-27 00:24
屠魔的少年
阅读(7)
推荐(0)
摘要：
python处理MongoDB首选就是pymongo. 首先, 安装一下这个模块 pip install pymongo pymongo 官方文档： https://pymongo.readthedocs.io/en/stable/ 建立连接 import pymongo def get_db(da
阅读全文
posted @ 2022-05-27 00:23
屠魔的少年
阅读(5)
推荐(0)
摘要：
python连接mysql可以用pymysql模块 pip install pymysql pymysql基本使用: import pymysql # 链接数据库 conn = pymysql.connect( host='localhost', port=3306, user='root', pa
阅读全文
posted @ 2022-05-27 00:21
屠魔的少年
阅读(8)
推荐(0)
摘要：
selenium小进阶+案例 关于验证码 验证码处理: 1. 直接把浏览器里面的cookie拿出来直接用. 2. 手动编写验证码识别的功能(深度学习)3. 第三方打码平台(收费), 超级鹰, 图鉴 图鉴-好东西http://www.ttshitu.com/ 这个东西. 既便宜. 有好用. 比超级鹰爽
阅读全文
posted @ 2022-05-24 10:00
屠魔的少年
阅读(10)
推荐(0)
摘要：
selenium本身是一个自动化测试工具。它可以让python代码调用浏览器。并获取到浏览器中加载的各种资源。 我们可以利用selenium提供的各项功能。 帮助我们完成数据的抓取 selenium概述 我们在抓取一些普通网页的时候requests基本上是可以满足的. 但是, 如果遇到一些特殊的网站
阅读全文
posted @ 2022-05-24 09:58
屠魔的少年
阅读(4)
推荐(0)
摘要：
一、协程 概念 协程 又称微线程(纤程)，是一种用户态的轻量级线程 子程序 在所有的语言中都是层级调用的，比如A中调用B，B在执行过程中调用C，C执行完返回，B执行完返回，最后是A执行完毕。这是通过栈实现的，一个函数就是一个执行的子程序，子程序的调用总是有一个入口、一次返回，调用的顺序是明确的 理解
阅读全文
posted @ 2022-05-23 11:12
屠魔的少年
阅读(5)
推荐(0)
摘要：
一、线程 1、概念 线程 在一个进程的内部，要同时干多件事，就需要同时运行多个“子任务”，我们把进程内的这些“子任务”叫做线程 是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同
阅读全文
posted @ 2022-05-15 10:39
屠魔的少年
阅读(4)
推荐(0)
摘要：
一、多任务原理 概念 现代操作系统比如Mac OS X，UNIX，Linux，Windows等，都是支持“多任务”的操作系统 什么叫多任务？ 就是操作系统可以同时运行多个任务 单核CPU实现多任务原理 操作系统轮流让各个任务交替执行，QQ执行2us（微秒），切换到微信，在执行2us，再切换到陌陌，执
阅读全文
posted @ 2022-05-14 18:20
屠魔的少年
阅读(6)
推荐(0)
摘要：
爬虫中使用cookie 为了能够通过爬虫获取到登录后的页面，或者是解决通过cookie的反扒，需要使用request来处理cookie相关的请求 爬虫中使用cookie的利弊 带上cookie的好处 能够访问登录后的页面 能够实现部分反反爬 带上cookie的坏处 一套cookie往往对应的是一个用
阅读全文
posted @ 2022-05-14 00:51
屠魔的少年
阅读(11)
推荐(0)
摘要：
图鉴 官方地址： http://www.ttshitu.com/ 通用图片识别接口：（详见： http://www.ttshitu.com/docs/python.html#pageTitle ） typeid 一、图片文字类型(默认 3 数英混合)： 1 : 纯数字 1001：纯数字2 2 : 纯
阅读全文
posted @ 2022-05-14 00:01
屠魔的少年
阅读(12)
推荐(0)
摘要：
为什么要使用代理 让服务器以为不是同一个客户端在请求 防止我们的真实地址被泄露，防止被追究 理解使用代理的过程 理解正向代理和反向代理的区别 通过上图可以看出： 正向代理：对于浏览器知道服务器的真实地址，例如VPN 反向代理：浏览器不知道服务器的真实地址，例如nginx 详细讲解： 正向代理是客户端
阅读全文
posted @ 2022-05-13 23:54
屠魔的少年
阅读(8)
推荐(0)
摘要：
目标, 搞定汽车之家-A8测评 https://k.autohome.com.cn/146/ import requests from pyquery import PyQuery as pq f = open("奥迪A8.csv", mode="w", encoding='utf-8') def
阅读全文
posted @ 2022-05-13 15:26
屠魔的少年
阅读(5)
推荐(0)
摘要：
pyquery是一个相对新颖的数据解析方式，有别于xpath和bs4。 它是使用css选择器作为语法规则的一种解析方式，其用法几乎和前端的jQuery库一致。 安装 pip install pyquery 基本用法 from pyquery import PyQuery as pq html = '
阅读全文
posted @ 2022-05-13 11:56
屠魔的少年
阅读(8)
推荐(0)
摘要：
import requests from lxml import etree url = "http://www.boxofficecn.com/boxoffice2022" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64
阅读全文
posted @ 2022-05-13 01:13
屠魔的少年
阅读(3)
推荐(0)
摘要：
1、xpath安装与使用 安装 安装lxml库 pip install lxml -i pip源 XPath 练习最好的网站 猪八戒网 2、解析流程与使用 解析流程 实例化一个etree的对象，把即将被解析的页面源码加载到该对象 调用该对象的xpath方法结合着不同形式的xpath表达进行标签定位和
阅读全文
posted @ 2022-05-13 01:07
屠魔的少年
阅读(5)
推荐(0)
摘要：
安装 pip install beautifulsoup4 如果安装的速度慢, 建议更换国内源(推荐阿里源或者清华源) pip install -i https://pypi.tuna.tsinghua.edu.cn/simple bs4 Beautiful Soup支持Python标准库中的HTM
阅读全文
posted @ 2022-05-12 00:22
屠魔的少年
阅读(3)
推荐(0)
浙公网安备 33010602011771号