摘要: 处理方法: 1、查明装入模块的确切名字: lsmod | grep i2c 显示输出的结果是模块的确切名字:i2c_piix4 2、将该模块列入不装入名单。编辑文件 vi /etc/modprobe.d/dccp-blacklist.conf,(root权限下)在文件中加入blacklist i2c 阅读全文
posted @ 2020-06-04 16:05 Striving_For_Dream 阅读(3737) 评论(2) 推荐(0) 编辑
摘要: spark整合hive 启动hdfs start-dfs.sh 启动spark sbin/start-all.sh 添加hive-site.xml,core-site.xml,hdfs-site.xml 把hive-site.xml,core-site.xml,hdfs-site.xml拷贝到/op 阅读全文
posted @ 2020-01-09 14:21 Striving_For_Dream 阅读(252) 评论(0) 推荐(0) 编辑
摘要: Elasticsearch安装 1.ElasticSearch Elasticsearch,基于lucene,隐藏复杂性,提供简单易用的restful api接口、java api接口(还有其他语言的api接口)。 关于elasticsearch的一个传说,有一个程序员失业了,陪着自己老婆去英国伦敦 阅读全文
posted @ 2019-12-19 16:24 Striving_For_Dream 阅读(181) 评论(0) 推荐(0) 编辑
摘要: Hive之累计报表生成 1. 原始数据 u01 2019/1/21 5u02 2019/1/23 6u03 2019/1/22 8u04 2019/1/20 3u01 2019/1/23 6u01 2019/2/21 8u02 2019/1/23 6u01 2019/2/22 4 2. 建表映射上述 阅读全文
posted @ 2019-12-02 22:36 Striving_For_Dream 阅读(584) 评论(0) 推荐(1) 编辑
摘要: 大数据技术之Sqoop 一、Sqoop简介 Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。 Sqoop于2012年3月孵化出来,现在是一个顶级的Apache项目。 请注意,1.99.7与1.4.6不兼容,且没有特征 阅读全文
posted @ 2019-12-02 13:44 Striving_For_Dream 阅读(202) 评论(0) 推荐(1) 编辑
摘要: Hadoop运行环境搭建 更改为阿里的Centos7的yum源 #下载wget yum -y install wget #echo 下载阿里云的yum源配置 Centos-7.repo wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors. 阅读全文
posted @ 2019-12-02 13:24 Striving_For_Dream 阅读(159) 评论(0) 推荐(1) 编辑
摘要: Hive安装部署与配置 1.1 Hive安装地址 1)Hive官网地址: http://hive.apache.org/ 2)文档查看地址: https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3)下载地址: http:// 阅读全文
posted @ 2019-12-02 12:49 Striving_For_Dream 阅读(237) 评论(0) 推荐(1) 编辑
摘要: HBase的部署与其它相关组件(Hive和Phoenix)的集成 一、HBase部署 1.1、Zookeeper正常部署 首先保证Zookeeper集群的正常部署,并启动之: /opt/module/zookeeper-3.4.5/bin/zkServer.sh start 1.2、Hadoop正常 阅读全文
posted @ 2019-12-02 12:31 Striving_For_Dream 阅读(397) 评论(0) 推荐(1) 编辑
摘要: scala快速入门之文档注释 1.在项目栏的目录树中找到该源码,右击点击Show in Explorer, 即可找到该源码的本地路径,在路径中输入cmd 2.执行scaladoc -d 生成文档注释文件保存的本地路径 该源码的文件名 例如:我这里执行scaladoc -d d:\mydoc Comm 阅读全文
posted @ 2019-11-27 11:03 Striving_For_Dream 阅读(737) 评论(0) 推荐(1) 编辑
摘要: CentOS7- 配置阿里镜像源 1. 安装wgetyum install -y wget 2. 进入centos的yum文件夹 输入命令cd /etc/yum.repos.d/ 3. 用wget下载repo文件 输入命令wget http://mirrors.aliyun.com/repo/Cen 阅读全文
posted @ 2019-11-19 20:57 Striving_For_Dream 阅读(365) 评论(0) 推荐(1) 编辑
/*快速评论*/ #div_digg { position: fixed; bottom: 10px; right: 15px; border: 2px solid #ECD7B1; padding: 10px; width: 140px; background-color: #fff; border-radius: 5px 5px 5px 5px !important; box-shadow: 0 0 0 1px #5F5A4B, 1px 1px 6px 1px rgba(10, 10, 0, 0.5); }