随笔分类 -  大数据系列

包含大数据方向一些基础知识
Unable to load native-hadoop library for your platform解决方法
摘要:在执行hadoop命令的时候出现如下错误,不能加载Hadoop库 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes wher 阅读全文

posted @ 2020-03-13 00:11 ZSJ-白 阅读(2894) 评论(0) 推荐(0)

第四章 Hadoop运行模式
摘要:Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式 Hadoop官方网站 : https://hadoop.apache.org 文档链接 :https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common 阅读全文

posted @ 2020-03-08 22:56 ZSJ-白 阅读(379) 评论(0) 推荐(0)

第三章 Hadoop运行环境搭建(开发重点)
摘要:3.1虚拟机环境准备 /etc/hosts 1、克隆虚拟机 2、修改克隆虚拟机的静态IP 3、修改主机名 同时,如果带java,删去java [ge@hadoop102 ~]$ rpm -qa | grep java | xargs sudo rpm -e 4、关闭防火墙 5、创建ge(随意取名)用 阅读全文

posted @ 2020-03-07 22:03 ZSJ-白 阅读(173) 评论(0) 推荐(0)

从Hadoop框架讨论大数据生态
摘要:1.1 Hadoop是什么 1)Hadoop是由Apache基金会所开发的分布式系统基础框架。 2)主要解决,海量数据的存储和海量数据的分析计算问题。 3)广义上说,Hadoop通常是指一个更广泛的概念-Hadoop生态圈。 1.2 Hadoop发展史 1)Lucene框架是由Doug Cuttin 阅读全文

posted @ 2020-03-07 16:17 ZSJ-白 阅读(238) 评论(0) 推荐(0)