会员
周边
新闻
博问
闪存
众包
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
学渣Mia
博客园
首页
新随笔
联系
订阅
管理
上一页
1
2
2021年7月
将dataframe数据直接写到s3
摘要: from boto3.session import Sessionimport boto3import osfrom io import StringIO class S3Connect(object): def __init__(self): self.aws_key = config.AWS_K
阅读全文
posted @ 2021-07-06 10:53 学渣Mia
阅读(209)
评论(0)
推荐(0)
2021年5月
gunicorn错误记录 --将默认的timeout时间设长
摘要: API请求报错 用gunicorn起了一个server 请求数据计算量小的时候,能够正常返回结果。数据计算大的时候就不行。相同的请求有时候可以返回有时候不行。 从gunicorn的debug日志里看到worker timeout 于是google “gunicorn worker timeout”找
阅读全文
posted @ 2021-05-11 13:48 学渣Mia
阅读(974)
评论(0)
推荐(0)
2021年1月
删除aws s3上的文件
摘要: 简单的删除 aws s3 rm s3://com.****.prd/:tmp/file_name.json # 删除文件 aws s3 rm s3://com.****.prd/:tmp/ --recursive # 删除文件夹 删除某个时间点前的文件 vim s3_file_delete.sh s
阅读全文
posted @ 2021-01-08 11:55 学渣Mia
阅读(1101)
评论(0)
推荐(0)
Python json问题整理
摘要: TypeError: Object of type 'int64' is not JSON serializable def convert(o): if isinstance(o, numpy.int64): return int(o) raise TypeError json.dumps({'v
阅读全文
posted @ 2021-01-06 11:55 学渣Mia
阅读(85)
评论(0)
推荐(0)
配置jupyter notebook
摘要: 为了确保环境独立,在docker里面安装 安装jupyter notebook pip install jupyter 生成配置文件 jupyter notebook --generate-config 生成密码 输入python >>> from notebook.auth import pass
阅读全文
posted @ 2021-01-06 11:44 学渣Mia
阅读(133)
评论(0)
推荐(0)
2020年8月
Docker中安装pytorch的gpu版本
摘要: 1、先查看服务器上的cuda版本 ➜ ~ cat /usr/local/cuda/version.txt CUDA Version 9.0.176 2、根据服务器的cuda版本去docker hub 拉镜像 nvidia/cuda:9.2-devel-ubuntu18.04 3、用镜像创建容器 do
阅读全文
posted @ 2020-08-27 14:20 学渣Mia
阅读(5576)
评论(0)
推荐(1)
2019年12月
docker常用命令记录
摘要: 一、ubuntu安装Docker 1、使用curl升级到最新版 curl -fsSL https://get.docker.com/ | sh 2、重启Docker sudo systemctl restart docker 3、设置Docker开机自启 sudo systemctl enable
阅读全文
posted @ 2019-12-25 17:51 学渣Mia
阅读(279)
评论(0)
推荐(0)
上一页
1
2
公告