王坤华的博客

摘要： 编辑文件 vim /etc/hosts IP 主机名 cd /usr/local/hadoop/etc #传文件 scp -r ./hadoop classnode12:`pwd` scp -r ./hadoop.tar.gz classnode12:`pwd` #改名字 mv hadoop had 阅读全文

摘要： 同步时间 安装虚拟机里面vmware Tools 解压到root里面 cd Desktop/ cd vmware-tools-distrib/ ./vmware-install.pl 阅读全文

摘要： #id_dsa 本机密钥 #id_dsa.pub 公钥 #将公钥放入访问方的认证文件中： cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys #这是将公钥放入了本机，所以之后远程登陆本机就不需要输入密码 想要免密登陆谁，就将id_dsa.pub放入对方的a 阅读全文

摘要： hadoop安装 #修改主机名 hostnamectl set-hostname hadoop #修改hosts vim /etc/hosts #追加到末尾 10.0.0.11 hadoop 安装必备依赖包 下载以下所有东西 https://pan.baidu.com/s/1ouCGECr-mRg5 阅读全文

摘要： 本文档适合CENTOS 6-7的本地YUM源配置 创建目录拷贝文件 mkdir /yum cp * /yum 配置yum源 安装的列子 [root@hadoop yum]# rpm -ivh deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm warning: d 阅读全文

摘要： 查看数据库 show databases; 进入数据库 use 库名 查看表 show tables； select * from 表名 hdfs传输spark sql查询 hive找到指定路径sql查询 vim gouzheng.txt 文件名字 放入数据 1 赵强 22 m 山西阳泉 2 李鹏波 阅读全文

摘要： HIVE的连接模式== 本地连接模式 直接启动hive命令 HIVE的远程连接 这里要启动HIVE的服务 thirft进行编写 hiveserver2 —- > 前台启动 后台启动 前台启动 hiveserver2 后台启动 hiveserver2 & beeline !connect jdbc:h 阅读全文

摘要： HIVE基本操作： 本地运行 set hive.exec.mode.local.auto=true; 创建表： hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, 阅读全文

摘要： Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流 阅读全文

摘要： 进入cd /usr/local/flume/conf/ vi kafka.conf 配置 agent.sources=s1 agent.channels=c1 agent.sinks=k1 agent.sources.s1.type=exec agent.sources.s1.command=tai 阅读全文