摘要: 编辑文件 vim /etc/hosts IP 主机名 cd /usr/local/hadoop/etc #传文件 scp -r ./hadoop classnode12:`pwd` scp -r ./hadoop.tar.gz classnode12:`pwd` #改名字 mv hadoop had 阅读全文
posted @ 2019-09-05 16:20 王坤华的博客 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 同步时间 安装虚拟机里面vmware Tools 解压到root里面 cd Desktop/ cd vmware-tools-distrib/ ./vmware-install.pl 阅读全文
posted @ 2019-09-04 20:10 王坤华的博客 阅读(234) 评论(0) 推荐(0) 编辑
摘要: #id_dsa 本机密钥 #id_dsa.pub 公钥 #将公钥放入访问方的认证文件中: cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys #这是将公钥放入了本机,所以之后远程登陆本机就不需要输入密码 想要免密登陆谁,就将id_dsa.pub放入对方的a 阅读全文
posted @ 2019-09-03 20:35 王坤华的博客 阅读(147) 评论(0) 推荐(0) 编辑
摘要: hadoop安装 #修改主机名 hostnamectl set-hostname hadoop #修改hosts vim /etc/hosts #追加到末尾 10.0.0.11 hadoop 安装必备依赖包 下载以下所有东西 https://pan.baidu.com/s/1ouCGECr-mRg5 阅读全文
posted @ 2019-09-03 16:37 王坤华的博客 阅读(253) 评论(0) 推荐(0) 编辑
摘要: 本文档适合CENTOS 6-7的本地YUM源配置 创建目录拷贝文件 mkdir /yum cp * /yum 配置yum源 安装的列子 [root@hadoop yum]# rpm -ivh deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm warning: d 阅读全文
posted @ 2019-09-03 16:14 王坤华的博客 阅读(885) 评论(0) 推荐(0) 编辑
摘要: 查看数据库 show databases; 进入数据库 use 库名 查看表 show tables; select * from 表名 hdfs传输spark sql查询 hive找到指定路径sql查询 vim gouzheng.txt 文件名字 放入数据 1 赵强 22 m 山西阳泉 2 李鹏波 阅读全文
posted @ 2019-08-15 16:17 王坤华的博客 阅读(413) 评论(0) 推荐(0) 编辑
摘要: HIVE的连接模式== 本地连接模式 直接启动hive命令 HIVE的远程连接 这里要启动HIVE的服务 thirft进行编写 hiveserver2 —- > 前台启动 后台启动 前台启动 hiveserver2 后台启动 hiveserver2 & beeline !connect jdbc:h 阅读全文
posted @ 2019-08-15 11:30 王坤华的博客 阅读(589) 评论(0) 推荐(0) 编辑
摘要: HIVE基本操作: 本地运行 set hive.exec.mode.local.auto=true; 创建表: hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, 阅读全文
posted @ 2019-08-15 11:29 王坤华的博客 阅读(160) 评论(0) 推荐(0) 编辑
摘要: Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流 阅读全文
posted @ 2019-08-14 18:11 王坤华的博客 阅读(342) 评论(0) 推荐(0) 编辑
摘要: 进入cd /usr/local/flume/conf/ vi kafka.conf 配置 agent.sources=s1 agent.channels=c1 agent.sinks=k1 agent.sources.s1.type=exec agent.sources.s1.command=tai 阅读全文
posted @ 2019-07-25 20:48 王坤华的博客 阅读(212) 评论(0) 推荐(0) 编辑