随笔分类 -  03-大数据

大数据第十课-解决某报错问题以及MR本地运行的log4j的输出问题
摘要：一、参考博客 1、 https://blog.csdn.net/panguoyuan/article/details/38727273 某报错问题 2、 https://blog.csdn.net/qq_31975963/article/details/83898920 log4j输出问题 二、碰到 阅读全文
posted @ 2020-03-23 03:41 地球之眼 阅读(394) 评论(0) 推荐(0)
大数据第九课-Flume的安装和使用
摘要：一、Flume的安装 ==Flume安装很简单，解压好基本上就可以使用== 1、下载安装包 http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.14.2.tar.gz flume-ng-1.6.0-cdh5.14.2.tar.gz 2 阅读全文
posted @ 2020-03-21 18:34 地球之眼 阅读(316) 评论(0) 推荐(0)
大数据第八课-HBase JAVA API 开发
摘要：一、前期碰到的问题 IDEA 导入依赖包，很多次编译不成功，检查以下的方面 1、maven里面配置的本地仓库位置。 2、settings的内容 <mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun. 阅读全文
posted @ 2020-03-21 01:33 地球之眼 阅读(433) 评论(0) 推荐(0)
大数据第七课-HBase的搭建
摘要：1、下载安装包 安装包下载地址： http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.2.tar.gz 将安装包上传到node01服务器/kkb/soft路径下，并进行解压 cd /kkb/soft/ tar -zxvf hbase- 阅读全文
posted @ 2020-03-18 12:03 地球之眼 阅读(367) 评论(1) 推荐(0)
大数据第六课-Hadoop高可用（HA）集群安装
摘要：一、备份以前的全分布式集群 备份全分布式集群，复制一份 二、安装Zookeeper(三台机器） 1、下载zookeeper http://archive.cloudera.com/cdh5/cdh/5/ 我们在这个网址下载我们使用的zk版本为zookeeper-3.4.5-cdh5.14.2.tar 阅读全文
posted @ 2020-03-17 22:23 地球之眼 阅读(337) 评论(0) 推荐(0)
大数据第五课-Hive调优
摘要：一、Fetch抓取 Fetch抓取是指，==Hive中对某些情况的查询可以不必使用MapReduce计算== 例如：select * from score; 在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台 在hive-default.xml.te 阅读全文
posted @ 2020-03-15 17:05 地球之眼 阅读(252) 评论(0) 推荐(0)
大数据第四课-Hive的安装和简单使用
摘要：一、安装MySQL CentOS 7中切换到root用户，安装mysql 在CentOS 7中默认安装有MariaDB，这个是MySQL的分支；但还是要安装MySQL，而且安装完成之后会直接覆盖掉MariaDB su root cd /kkb/soft/ 1、下载并安装mysql官方的yum源 yu 阅读全文
posted @ 2020-03-14 20:39 地球之眼 阅读(375) 评论(0) 推荐(0)
大数据第三课-WordCount 本地运行和集群运行
摘要：一、MapReduce编程思想 mapReduce编程模型的总结： MapReduce的开发一共有八个步骤其中map阶段分为2个步骤，shuffle阶段4个步骤，reduce阶段分为2个步骤 Map阶段2个步骤 第一步：设置inputFormat类，将我们的数据切分成key，value对，输入到第二 阅读全文
posted @ 2020-03-13 18:10 地球之眼 阅读(710) 评论(0) 推荐(0)
大数据第二课-HDFS Java API开发
摘要：1、配置windows当中的环境变量 解压资料当中的 hadoop-2.6.0-cdh5.14.2_windows环境配置安装包.rar 这个压缩文件文件到一个没有中文没有空格的目录下 然后在windows当中配置hadoop的环境变量 然后将hadoop.dll文件拷贝到C:\Windows\Sy 阅读全文
posted @ 2020-03-12 18:42 地球之眼 阅读(209) 评论(0) 推荐(0)
大数据第一课-Hadoop全分布式集群搭建
摘要：一、前序 在开始全分布式集群搭建之前，首先应该安装好三台虚拟机。。。。如果电脑比较卡，建议多加8G内存条。 我这里是Centos7版本的。 hadoop编译后的安装包： 链接：https://pan.baidu.com/s/1xythD1ESNBlPfAW9Pi_3Cw 提取码：7lct 二、大数据 阅读全文
posted @ 2020-03-12 09:41 地球之眼 阅读(333) 评论(0) 推荐(0)
大数据第三课-Linux系统下在普通用户中安装Mysql
摘要：1、查看你的centos系统中是否有mysql （没有） rpm -qa | grep mysql 2、看能否通过yum来安装mysql （yum list 里面没有mysql-server,mysql等） yum list | grep mysql 3、下载mysql.tar.gz安装包 （下面那 阅读全文
posted @ 2019-11-27 19:17 地球之眼
大数据第二课-在一台电脑上用xshell连接另一台电脑的虚拟机
摘要：内容一：从一台电脑用xshell远程连接另一台电脑上的虚拟机。 1、查看本机的IP地址 搜索栏输入cmd，在cmd里面输入ipconfig查看本机的IP地址。 2、配置VM的网段和电脑上的一样 3、更改虚拟机的连接方式为桥接模式 注意：如果在一台电脑上的多个虚拟机可以用NAT模式，然后在下一步的虚拟 阅读全文
posted @ 2019-10-27 00:35 地球之眼
03-JAVA大数据知识体系（网上的一张图）
摘要：Java大数据知识体系 阅读全文
posted @ 2019-09-29 22:31 地球之眼 阅读(323) 评论(0) 推荐(0)