07 2019 档案

摘要:关于进入以docker安装的容器内执行命令方法 1、执行docker ps -a找到需要进入的容器id 2、使用exec建立虚拟终端 3、之后就可以执行以docker方式安装的容器内部命令了 4、退出伪终端 阅读全文
posted @ 2019-07-31 15:33 争-渡 阅读(1314) 评论(0) 推荐(0)
摘要:结合AWS(EC2)搭建Scrapoxy 1、例行背景 需要代理ip,找了好多代理供应商效果非常差[主要抓取的是国外网站],本着自己动手丰衣足食的念头,根据各种工具书介绍,知道了Scrapoxy,本着死马当作活马医的态度,自己搭建一套试试 2、Scrapoxy介绍[官网介绍] Scrapoxy 将您 阅读全文
posted @ 2019-07-30 23:34 争-渡 阅读(431) 评论(0) 推荐(0)
摘要:1、下载方法[可以先去anaconda官方查看最新你版本 右键复制最新的地址连接] wget https://repo.anaconda.com/archive/Anaconda3-2019.07-Linux-x86_64.sh 2、安装 [默认方法] sudo bash Anaconda3-201 阅读全文
posted @ 2019-07-29 16:06 争-渡 阅读(3274) 评论(0) 推荐(0)
摘要:进程池+requests+splash实现 阅读全文
posted @ 2019-07-29 14:52 争-渡 阅读(498) 评论(0) 推荐(0)
摘要:1.背景[没啥用] 血的教训,就在某一天夜里,突然发现我在服务器上安装的mongo挂掉了,爬虫爬的数据没法存储, 整整跑了一周的数据啊,就这样断掉了,就在第二天回到公司重启了mongo但是没过几秒就又挂了, 一顿神找问题[本职不是运维伤不起啊],最终发现是服务器磁盘满了,what?第一次遇到,相信 阅读全文
posted @ 2019-07-24 12:06 争-渡 阅读(148) 评论(0) 推荐(0)
摘要:计算一个库中所有collection数据量 阅读全文
posted @ 2019-07-22 09:15 争-渡 阅读(1330) 评论(0) 推荐(0)
摘要:Ubuntu修改时间 1 Ubuntu的时间分类 2 修改Ubuntu系统时间 2.1 修改时间 2.2 复制文件到/etc目录下 2.3 查看修改结果 3 修改Ubuntu硬件时间 阅读全文
posted @ 2019-07-18 10:26 争-渡 阅读(6702) 评论(0) 推荐(1)
摘要:1、使用命令行添加密钥 PS:如果第一步没办法运行先安装wget[安装方法链接] 2、使用命令行添加Google Chrome PPA 3、安装或升级Google Chrome。使用以下命令来安装最新的Google Chrome稳定版本。 如果您已经安装了较旧的版本,它将使用最新版本来升级当前安装的 阅读全文
posted @ 2019-07-17 10:39 争-渡 阅读(897) 评论(0) 推荐(0)
摘要:1 ubuntu安装wget 2 apt-get update 3 apt-get install wget 4 wget --version 阅读全文
posted @ 2019-07-17 10:23 争-渡 阅读(1074) 评论(0) 推荐(0)
摘要:selenium.common.exceptions.WebDriverException: Message: unknown error: unsupported protocol 问题背景:在发起js请求后报错 <GET javascript:sdsHelp('120-1840-000-ND') 阅读全文
posted @ 2019-07-15 10:41 争-渡 阅读(185) 评论(0) 推荐(0)
摘要:1、问题背景 随便描述一下:大概就是如果你的dataframe只有一行数据,期中有一列是nan的,在这种情况下如果对nan列进行复制为None会出现将nan转换为None状态 2、Excel截图 读取显示 解决办法 阅读全文
posted @ 2019-07-03 10:33 争-渡 阅读(863) 评论(0) 推荐(0)
摘要:Jinja2模板继承 完整基板 简易基板 子模块 阅读全文
posted @ 2019-07-01 11:15 争-渡 阅读(219) 评论(0) 推荐(0)
摘要:使用pipenv构建虚拟环境 <!--?xml version="1.0" encoding="UTF-8"?-->1、介绍:pipenv是基于pip的python包管理工具,是pip的增强版解决了旧的pip+virtualenv+requirements.txt的工作方式的弊端 2、安装 3、检查 阅读全文
posted @ 2019-07-01 11:15 争-渡 阅读(88) 评论(0) 推荐(0)
摘要:# 信息性状态码100: ('continue')101: ('switching_protocols',)102: ('processing',)103: ('checkpoint',)122: ('uri_too_long', 'request_uri_too_long')#成功状态码200: 阅读全文
posted @ 2019-07-01 11:14 争-渡 阅读(134) 评论(0) 推荐(0)