摘要:下面整理了“大数据基础”的一系列知识,可供学习和参考。 --Hadoop-- >>Hadoop是什么? >>HDFS,Zookeeper,ZookeeperFailOverController(简称:ZKFC),JournalNode是什么? >>HDFS-HA搭建 >>Hadoop常用命令 >>H 阅读全文
posted @ 2019-09-14 00:52 数据驱动 阅读(1122) 评论(0) 推荐(0) 编辑
摘要:效果展示: (原始图片) (运行结果) 代码示例: # -*- coding:utf-8 -*- from PIL import Image import pytesseract def cleanFile(filePath, newFilePath): image = Image.open(fil 阅读全文
posted @ 2021-02-21 15:39 数据驱动 阅读(7) 评论(0) 推荐(0) 编辑
摘要:废话少说,直接上代码: import chardet # 抽取txt文件内容 def parseTxt(filename): texts = [] encoding = chardet.detect(open(filename, 'rb').read()).get('encoding', 'utf- 阅读全文
posted @ 2021-01-28 19:46 数据驱动 阅读(38) 评论(0) 推荐(0) 编辑
摘要:这里介绍Python中使用Pandas读取Excel的方法 一、软件环境: OS:Win7 64位 Python 3.7 二、文件准备 1、项目结构: 2、在当前实验文件夹下建立一个Source文件夹,里面放待读取的Excel文件 3、待读取的Excel文件名:Book1.xlsx,Sheet Na 阅读全文
posted @ 2021-01-28 10:08 数据驱动 阅读(16) 评论(0) 推荐(0) 编辑
摘要:打包,并指定豆瓣数据源: pip download -r requirement.txt -d ./pip_packages -i http://pypi.douban.com/simple --trusted-host pypi.douban.com 安装:(将包拷贝到项目下执行) pip ins 阅读全文
posted @ 2021-01-22 21:58 数据驱动 阅读(35) 评论(0) 推荐(0) 编辑
摘要:环境信息 操作系统:CentOS Linux release 7.6.1810 Python:3.7.4 现状说明 当前CentOS系统自带了python2.7.5,因为yum会用到python2,所以不能删除,此次安装了python3之后就保持两个版本长期共存吧。 本次安装采用的是下载python 阅读全文
posted @ 2020-12-16 16:27 数据驱动 阅读(70) 评论(0) 推荐(0) 编辑
摘要:今天在Liunx服务器上重启docker的时候,发现容器启动不了了,报的错误是:"ERROR:cannot create temporary directory!"。我的猜测应该就是磁盘空间满了,于是执行命令"df -h",出来的结果是 挂载点/var/lib/docker/overlay/ 已用% 阅读全文
posted @ 2020-12-16 16:25 数据驱动 阅读(125) 评论(0) 推荐(0) 编辑
摘要:迁移到:/data/docker/lib 在/etc/systemd/system/docker.service.d/devicemapper.conf里面配置,没有的话创建文件 [Service]ExecStart=ExecStart=/usr/bin/dockerd --graph=/data/ 阅读全文
posted @ 2020-12-09 18:06 数据驱动 阅读(28) 评论(0) 推荐(0) 编辑
摘要:如果要让别人依赖你的项目,最简单的是把代码直接给他,但这往往是不可取的,因为一个项目文件太大了,很多依赖包在对方已经存在了,所以我们需要打个包,把精简的源码给对方即可。 下面拿个demo进行演示。 1.新建一个Python项目,原始状态是这样的。 2.接下来在项目根目录下创建一个setup.py文件 阅读全文
posted @ 2020-12-07 11:53 数据驱动 阅读(116) 评论(0) 推荐(0) 编辑
摘要:这篇文章主要介绍了python生成requirements.txt的两种方法,每种方法给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下 python项目如何在另一个环境上重新构建项目所需要的运行环境依赖包? 使用的时候边记载是个很麻烦的事情,总会出现遗漏的包的问题,这个时候手动安装 阅读全文
posted @ 2020-12-03 16:10 数据驱动 阅读(726) 评论(0) 推荐(0) 编辑
摘要:今天从Gitlab拉取数据提示:SSL certificate problem: self signed certificat 异常。 问题原因:公司gitlab只支持https地址,需要client配置忽略https证书检验 解决方案:打开Git Bash运行如下命令 export GIT_SSL 阅读全文
posted @ 2020-11-24 12:57 数据驱动 阅读(482) 评论(0) 推荐(0) 编辑