摘要：
针对pandas数据行列转换问题分类及解决方法，参考原博客，其作者写的非常好，忍不住点赞--（https://www.cnblogs.com/traditional/p/11967360.html），在总结一下，方便使用。 #1. 行转列 原数据 转换后 解决方法：方法1）pd.pivot(df, 阅读全文
posted @ 2021-03-14 22:35
旁人怎会懂
阅读(4028)
评论(1)
推荐(0)
摘要：
爬虫项目部署 部署环境 ： linux+python3+scrapy+scrapyd+gerapy 介绍： Scrapy：是一个基于Twisted的异步IO框架，有了这个框架，我们就不需要等待当前URL抓取完毕之后在进行下一个URL的抓取，抓取效率可以提高很多。 Scrapy-redis：虽然Scr 阅读全文
posted @ 2021-03-05 09:34
旁人怎会懂
阅读(214)
评论(0)
推荐(0)
摘要：
用于记录供以后使用，原文https://blog.csdn.net/qq_29027865/article/details/82216755和https://blog.csdn.net/chen801090/article/details/105841851/ 一、选择器介绍 1.使用link可以使 阅读全文
posted @ 2021-01-18 19:33
旁人怎会懂
阅读(1670)
评论(0)
推荐(0)
摘要：
原文链接 https://blog.csdn.net/qianwenjun_19930314/article/details/88227335 1、脚本编写的两个条件 1.1 编写一个 py 文件供 mitmproxy 加载，文件中定义了若干函数，这些函数实现了某些 mitmproxy 提供的事 阅读全文
posted @ 2021-01-17 12:54
旁人怎会懂
阅读(3001)
评论(1)
推荐(0)
摘要：
针对docker容器下python pip install 安装第三方库时报错Retrying (Retry(total=1, connect=None, read=None, redirect=None, status=None))...问题 修改完daemon.json dns后可解决问题 具体 阅读全文
posted @ 2021-01-06 22:10
旁人怎会懂
阅读(566)
评论(0)
推荐(0)
摘要：
自己写了一个flask脚本，访问时返回访问者的ip，用于爬虫代理ip的验证，使用docker部署与linux系统下 第1步，创建flask项目 flask代码如下 from flask import Flask, request, jsonify app = Flask(__name__) @app 阅读全文
posted @ 2021-01-06 22:01
旁人怎会懂
阅读(197)
评论(0)
推荐(0)
摘要：
#1. 登录自己阿里源账号 #2. 点击控制台——>产品与服务——>容器镜像服务 #3. Centos下配置/etc/docker/daemon.json (没有的话自己创建) { "registry-mirrors: [ "https://xxxxx.mirror.aliyuncs.com", " 阅读全文
posted @ 2021-01-06 19:21
旁人怎会懂
阅读(140)
评论(0)
推荐(0)
摘要：
docker 基本操作 1. docker基本架构 2. docker 网络架构 3. docker 镜像操作 # dockerfile创建镜像 docker build -t image_name Dockerfile_path eg: docker build -t ip_check . (代表 阅读全文
posted @ 2021-01-06 17:18
旁人怎会懂
阅读(143)
评论(0)
推荐(0)
摘要：
原文链接: http://kuanghy.github.io/2016/07/21/python-import-relative-and-absolute Python 相对导入与绝对导入 Python | Jul 21, 2016 | python Python 相对导入与绝对导入，这两个概念是相 阅读全文
posted @ 2021-01-06 14:11
旁人怎会懂
阅读(259)
评论(0)
推荐(0)
浙公网安备 33010602011771号