01 2021 档案

webscraper 元素选择和翻页
摘要：用于记录供以后使用，原文https://blog.csdn.net/qq_29027865/article/details/82216755和https://blog.csdn.net/chen801090/article/details/105841851/ 一、选择器介绍 1.使用link可以使 阅读全文
posted @ 2021-01-18 19:33 旁人怎会懂 阅读(1784) 评论(0) 推荐(0)
mitmproxy -py脚本编写
摘要：原文链接 https://blog.csdn.net/qianwenjun_19930314/article/details/88227335 1、脚本编写的两个条件 ​ 1.1 编写一个 py 文件供 mitmproxy 加载，文件中定义了若干函数，这些函数实现了某些 mitmproxy 提供的事 阅读全文
posted @ 2021-01-17 12:54 旁人怎会懂 阅读(3118) 评论(1) 推荐(0)
docker dns配置（解决pip 下载第三方模块“Retry(total=3, connect=None, read=None, redirect=None, status”
摘要：针对docker容器下python pip install 安装第三方库时报错Retrying (Retry(total=1, connect=None, read=None, redirect=None, status=None))...问题 修改完daemon.json dns后可解决问题 具体 阅读全文
posted @ 2021-01-06 22:10 旁人怎会懂 阅读(600) 评论(0) 推荐(0)
docker下创建flask项目
摘要：自己写了一个flask脚本，访问时返回访问者的ip，用于爬虫代理ip的验证，使用docker部署与linux系统下 第1步，创建flask项目 flask代码如下 from flask import Flask, request, jsonify app = Flask(__name__) @app 阅读全文
posted @ 2021-01-06 22:01 旁人怎会懂 阅读(208) 评论(0) 推荐(0)
docker 镜像加速器配置
摘要：#1. 登录自己阿里源账号 #2. 点击控制台——>产品与服务——>容器镜像服务 #3. Centos下配置/etc/docker/daemon.json (没有的话自己创建) { "registry-mirrors: [ "https://xxxxx.mirror.aliyuncs.com", " 阅读全文
posted @ 2021-01-06 19:21 旁人怎会懂 阅读(172) 评论(0) 推荐(0)
docker 基本操作
摘要：docker 基本操作 1. docker基本架构 2. docker 网络架构 3. docker 镜像操作 # dockerfile创建镜像 docker build -t image_name Dockerfile_path eg: docker build -t ip_check . (代表 阅读全文
posted @ 2021-01-06 17:18 旁人怎会懂 阅读(161) 评论(0) 推荐(0)
python 相对导入与绝对导入
摘要：原文链接: http://kuanghy.github.io/2016/07/21/python-import-relative-and-absolute Python 相对导入与绝对导入 Python | Jul 21, 2016 | python Python 相对导入与绝对导入，这两个概念是相 阅读全文
posted @ 2021-01-06 14:11 旁人怎会懂 阅读(270) 评论(0) 推荐(0)
qq音乐爬取分析
摘要：仅供个人学习研究使用 import requests class QQMiusc: def __init__(self): # 获取歌曲列表MID参数 self.song_id_url = 'https://c.y.qq.com/qzone/fcg-bin/fcg_ucc_getcdinfo_byi 阅读全文
posted @ 2021-01-05 22:11 旁人怎会懂 阅读(463) 评论(0) 推荐(0)
网易云音乐爬取分析
摘要：仅供个人学习研究使用 from Crypto.Cipher import AES # 非对称加密 import rsa # 对成加密 import execjs # PyExecJs可以使用Python模拟运行js代码 import base64 import requests first_para 阅读全文
posted @ 2021-01-05 22:09 旁人怎会懂 阅读(295) 评论(0) 推荐(0)
selenum_斗鱼直播爬取
摘要：斗鱼直播主播信息采集 from selenium import webdriver import time from lxml import etree from excel_utils.excel_utils import write_to_excel,append_to_excel import 阅读全文
posted @ 2021-01-05 21:58 旁人怎会懂 阅读(117) 评论(0) 推荐(0)
requests 代理设置
摘要：import requests proxies = { "http": 'http://111.72.137.232:4251'} r = requests.get('http://httpbin.org/ip', proxies=proxies) print(r.text) 阅读全文
posted @ 2021-01-05 21:54 旁人怎会懂 阅读(240) 评论(0) 推荐(0)
飞机大战
摘要：利用python实现飞机大战游戏 import pygame import sys import time import random #初始化 pygame.init() pygame.font.init() size=width,height = 480,652 background = pyg 阅读全文
posted @ 2021-01-05 21:51 旁人怎会懂 阅读(136) 评论(0) 推荐(0)
互斥锁
摘要：import time tick = 100 def func1(): global tick for i in range(100): lock.acquire() tick +=5 #外部传进来，变成自己的局部变量，与外部无关 time.sleep(0.01) tick -=5 lock.rel 阅读全文
posted @ 2021-01-05 21:48 旁人怎会懂 阅读(89) 评论(0) 推荐(0)
多线程+英雄联盟官网英雄图片爬取
摘要：仅供学习与参考，随时间变化可能失效 #所有英雄ID '''https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js https://lol.qq.com/data/info-defail.shtml?id=61 https:/ 阅读全文
posted @ 2021-01-05 21:44 旁人怎会懂 阅读(148) 评论(0) 推荐(0)
python_二叉排序树实现
摘要：二叉排序树 # 节点 class Node: def __init__(self, elem): self.elem = elem self.left = None self.right = None # 二叉排序树 class BinarySearchTree: def __init__(self 阅读全文
posted @ 2021-01-05 21:12 旁人怎会懂 阅读(304) 评论(0) 推荐(0)
python岗位简易数据分析
摘要：python岗位数据分析报告 数据集为针对智联，boss，拉勾三个招聘网站的爬取， 爬取关键字段：语言为python，java，c；城市为 北上广深郑杭； 数据分类保存在 ‘’python招聘数据.xlsx‘’ 表格中 研究问题 ： 一. python相关岗位（数据分析，数据挖掘，开发工程师）地区（ 阅读全文
posted @ 2021-01-04 19:19 旁人怎会懂 阅读(372) 评论(0) 推荐(0)