摘要: 在开发阶段,可以单机搭建环境安装Flume和Solr,在两个工程的官网下载相关文件。 还有另一种更便捷的方式,就是使用Cloudera提供的镜像,包括了已经配置好的各种大数据服务环境的docker镜像和虚拟机镜像。 1、docker镜像的使用 官网教程:https://hub.docker.com/ 阅读全文
posted @ 2018-09-21 17:38 惹是非 阅读(439) 评论(0) 推荐(0) 编辑
摘要: InfluxDB实时数据库 网址为:https://influxdata.com/,如图所示。python模块安装:pip3 install influxdb Django Web框架 网址为:https://www.djangoproject.com/,python安装模块:pip3 isntal 阅读全文
posted @ 2018-09-21 16:53 惹是非 阅读(427) 评论(0) 推荐(0) 编辑
摘要: (一)编码问题 from ftfy import fix_text fix_text(data.text) (二)缺失值的检测和处理 df = DataFrame({'c1':[0,1,2,None], 'c2':[1,None,2,3]}) 用 isnull()进行检测,再通过sum() 得到行列 阅读全文
posted @ 2018-09-18 18:39 惹是非 阅读(261) 评论(0) 推荐(0) 编辑
摘要: 使用Ubuntu在安装好MySQL数据库之后,如果直接创建数据库,再创建数据表,那么是无法向字段插入中文的,会报Incorrect string value错误。 c实现编码设置的两种方法: (1)动态设置 创建数据库: CREATE DATABASE PyDB CHARACTER SET 'utf 阅读全文
posted @ 2018-09-18 14:18 惹是非 阅读(622) 评论(0) 推荐(0) 编辑
摘要: MySQL 的安装 sudo apt-get updatesudo apt-get install -y mysql-server mysql-client 启动、关闭和重启MySQL 服务的命令如下:sudo service mysql startsudo service mysql stopsu 阅读全文
posted @ 2018-09-17 16:59 惹是非 阅读(238) 评论(0) 推荐(0) 编辑
摘要: lxml 的安装(xpath) pip3 install lxml 可能会缺少以下依赖: sudo apt-get install -y python3-dev build-e ssential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-d 阅读全文
posted @ 2018-09-17 16:28 惹是非 阅读(472) 评论(0) 推荐(0) 编辑
摘要: Selenium安装: pip3 install selenium ChromeDriver安装: 在这链接下载对应版本:https://chromedriver.storage.googleapis.com/index.html 解压之后,将可执行文件移动到:/usr/bin 或者配置到环境变量( 阅读全文
posted @ 2018-09-17 16:08 惹是非 阅读(235) 评论(0) 推荐(0) 编辑