摘要: 安装完python后我们一般都会安装一些依赖包或第三方包,在linux中我们一般会调整pip的安装源【本文未记录】以提高安装效率,但配置window本地python时,有时也会遇到相同的问题,本人在一次安装pyhive时,总是timeoout,于是百度了一下,以供参考: 由于python未安装pyh 阅读全文
posted @ 2020-08-12 10:37 小戈戈不怕黑 阅读(161) 评论(0) 推荐(0) 编辑
摘要: 公司测试集群迁往腾讯云,安装完flume和kafka后使用api消费topic,在应用日志中打印出来的日志中文部分全部是???????,数据存储写入mysql数据库后中文也是乱码,针对这个问题进行调整修复: 1、kafka消费的格式问题 设置kafka序列化和反序列化格式 properties.pu 阅读全文
posted @ 2020-07-31 15:56 小戈戈不怕黑 阅读(5449) 评论(0) 推荐(0) 编辑
摘要: 正常输入升级命令: python -m pip install --upgrade pip 弹出报错及提示: 意思很明显就是当前用的权限不够修改/删除目标文件。 此时就要赋予当前操作用户一定权限才能正常升级,步骤如下 当前用户下找到python的安装目录 右击--属性--安全,在用户组和用户名中找到 阅读全文
posted @ 2020-02-11 10:30 小戈戈不怕黑 阅读(1132) 评论(0) 推荐(0) 编辑
摘要: 批量解压zip文件 【-n1:数字1】ls *.zip | xargs -n1 unzip -o 压缩目录zipzip -r fileName.zip fileName解压zipunzip fileName.zip 批量解压gz文件ls *.tar.gz | xargs -n1 tar xzvf解压 阅读全文
posted @ 2020-01-19 15:32 小戈戈不怕黑 阅读(163) 评论(0) 推荐(0) 编辑
摘要: linux本地文件: shell脚本: #判断目录是否存在if [ -d "/data/hadoop/data/my/2019/08" ]; then echo yes! else echo no! fi #判断文件是否存在 if [ -e "/data/hadoop/data/my/2019/08 阅读全文
posted @ 2020-01-19 14:10 小戈戈不怕黑 阅读(130) 评论(0) 推荐(0) 编辑