pursue330

2019年3月13日

HBASE学习d端口master:16010（java操作hbase）https://www.cnblogs.com/junrong624/p/7323483.html

摘要： HBase提示已创建表，但是list查询时，却显示表不存在。 https://blog.csdn.net/liu16659/article/details/80216085 下载网址 http://archive.apache.org/dist/hbase/ 下载1.2.6bin.tar.gz 安装阅读全文

posted @ 2019-03-13 20:43 pursue330 阅读(2158) 评论(0) 推荐(0)

log4j.properties加入内容

摘要：第一步加入log4j-1.2.8.jar(可以选择log4j的更高版本)到lib下。如果使用maven项目，也可以选择在pom.xml中新增依赖：<dependency><groupId>log4j</groupId><artifactId>log4j</arti 阅读全文

posted @ 2019-03-13 18:56 pursue330 阅读(364) 评论(0) 推荐(0)

2019年3月12日

zookeeper学习及安装

摘要： HBase提示已创建表，但是list查询时，却显示表不存在。 https://blog.csdn.net/liu16659/article/details/80216085 zookeeper图形化 https://blog.csdn.net/riju4713/article/details/828 阅读全文

posted @ 2019-03-12 20:05 pursue330 阅读(288) 评论(0) 推荐(0)

2019年3月11日

flume学习以及ganglia(若是要监控hive日志，hive存放在/tmp/hadoop/hive.log里，只要运行过hive就会有)

摘要： python3.6hdfs的使用 https://blog.csdn.net/qq_29863961/article/details/80291654 https://pypi.org/ 官网直接搜索hdfs就好 https://www.cnblogs.com/dachenzi/p/8676104. 阅读全文

posted @ 2019-03-11 13:37 pursue330 阅读(852) 评论(0) 推荐(0)

2019年3月9日

Hadoop各个启动流

摘要：（0）如果集群是第一次启动，需要格式化namenodehadoop@node1:~$ hdfs namenode –format （1）启动HDFS：hadoop@master:~$ start-dfs.sh （2）启动yarnsbin/start-yarn.sh注意：Namenode和Resour 阅读全文

posted @ 2019-03-09 08:58 pursue330 阅读(284) 评论(0) 推荐(0)

2019年3月7日

crontab基本操作部分

摘要：一、cron服务 cron是一个linux下的定时执行工具，可以在无需人工干预的情况下运行作业。 service crond start //启动服务 service crond stop //关闭服务 service crond restart //重启服务 service crond relo 阅读全文

posted @ 2019-03-07 17:59 pursue330 阅读(815) 评论(0) 推荐(0)

pig（数据流语言和编译器）学习https://www.w3cschool.cn/apache_pig/apache_pig_execution.html

摘要：当我们配置了hadoop集群执行的时候可以通过命令ls进行查看存储语法练习可以先写一个run.pig脚本，文件内容为下面例子的全部过程，（w3school看store 保存数据到文件中）,包装好后，放入一个.sh文件里去执行.sh文件内容，（.sh文件里的内容要写 #!/usr/bin/e 阅读全文

posted @ 2019-03-07 17:36 pursue330 阅读(1303) 评论(0) 推荐(0)

pig配置

摘要：下载Apache Pig 首先，从以下网站下载最新版本的Apache Pig:https://pig.apache.org/ 步骤1 打开Apache Pig网站的主页。在News部分下，点击链接release page，如下面的快照所示。步骤2 点击指定的链接后，你将被重定向到 Apache P 阅读全文

posted @ 2019-03-07 17:26 pursue330 阅读(506) 评论(0) 推荐(0)

2019年3月6日

hive（在大数据集合上的类SQL查询和表）学习

摘要： 1、jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false 2、desc (formatted) 表名；可以查看表的描述 3、文件以逗号分阅读全文

posted @ 2019-03-06 14:40 pursue330 阅读(2865) 评论(0) 推荐(0)

配置hive环境以及mysql配置后必须做

摘要： 1、先在主节点上安装阿里云配置（看别的文档） 2、把需要的两个jar包加入进来（放到hadoop用户目录下面即可即/home/hadoop/） mysql-connector-java-5.1.47.tar.gz apache-hive-2.3.4-bin.tar.gz 3、解压压缩包（在hadoo 阅读全文

posted @ 2019-03-06 10:37 pursue330 阅读(1889) 评论(0) 推荐(0)

公告