随笔分类 -  hadoop

SparkSQL与Hive on Spark
摘要：SparkSQL与Hive on Spark的比较 简要介绍了SparkSQL与Hive on Spark的区别与联系 简要介绍了SparkSQL与Hive on Spark的区别与联系 一、关于Spark 简介 在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决 阅读全文
posted @ 2018-03-18 21:29 夕阳下的无名草 阅读(758) 评论(0) 推荐(0)
Hadoop安装—— WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platf
摘要：今天在安装hadoop完成测试创建用户目录失败在网上找到了原因记录一下原文地址 http://blog.csdn.net/l1028386804/article/details/51538611 配置完hadoop启动运行的时候出现如下警告信息： 问题在哪里？有人说这是hadoop的预编译包是32b 阅读全文
posted @ 2018-03-18 18:36 夕阳下的无名草 阅读(479) 评论(0) 推荐(0)
hive使用
摘要：运行hadoop [root@hadoop0 ~]# start-all.sh 进入命令行[root@hadoop0 ~]# hive 查询昨天的表 hive> select * from stu; 显示数据库 hive> show databases 创建数据库 hive> create data 阅读全文
posted @ 2018-03-14 12:10 夕阳下的无名草 阅读(225) 评论(0) 推荐(0)
hadoop之wordCount详解
摘要：图解MapReduce 简历过程： Input: Hello World Bye World Hello Hadoop Bye hadoop Bye Hadoop Hello Hadoop Map: <Hello,1> <World,1> <Bye,1> <World,1> <Hello,1> <H 阅读全文
posted @ 2017-07-27 12:04 夕阳下的无名草 阅读(1726) 评论(0) 推荐(1)
hadoop安装教程
摘要：hadoop的核心 Hadoop的核心就是HDFS和MapReduce，而两者只是理论基础，不是具体可使用的高级应用，Hadoop旗下有很多经典子项目，比如HBase、Hive等，这些都是基于HDFS和MapReduce发展出来的。要想了解Hadoop，就必须知道HDFS和MapReduce是什么。 阅读全文
posted @ 2017-07-24 22:22 夕阳下的无名草 阅读(61219) 评论(1) 推荐(3)
CentOS7下安装jdk
摘要：1、卸载自带OPENJDK 用 java -version 命令查看当前jdk版本信息 #java -version 用rpm -qa | grep java 命令查询操作系统自身安装的java #rpm -qa | grep java 执行结果如下 python-javapackages-3.4. 阅读全文
posted @ 2017-07-19 10:44 夕阳下的无名草 阅读(324) 评论(0) 推荐(0)
linux CentOS中创建用户 无密码登录
摘要：首先点击左上角的 “应用程序” -> “系统工具” -> “终端”，首先在终端中输入 su ，按回车，输入 root 密码以 root 用户登录，接着执行命令创建新用户 hadoop: 接着使用如下命令修改密码，按提示输入两次密码，可简单的设为 “hadoop”（密码随意指定，若提示“无效的密码，过 阅读全文
posted @ 2017-07-19 10:15 夕阳下的无名草 阅读(9169) 评论(2) 推荐(0)
安装Hadoop系列 — 安装SSH免密码登录
摘要：安装Hadoop系列 — 安装SSH免密码登录 配置ssh免密码登录 1) 验证是否安装ssh：ssh -version显示如下的话则成功安装了OpenSSH_6.2p2 Ubuntu-6ubuntu0.1, OpenSSL 1.0.1e 11 Feb 2013Bad escape characte 阅读全文
posted @ 2017-07-18 15:31 夕阳下的无名草 阅读(432) 评论(0) 推荐(0)
Hadoop三种安装模式：单机模式，伪分布式，真正分布式
摘要：Hadoop三种安装模式：单机模式，伪分布式，真正分布式 一 单机模式standalone 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行 阅读全文
posted @ 2017-07-14 16:59 夕阳下的无名草 阅读(2253) 评论(0) 推荐(0)
Hadoop安装配置(ubuntu-12.04.2-server-amd64)
摘要：环境如下： ubuntu-12.04.2-server-amd64 hadoop-1.0.4 VirtualBox 1、在VBox中安装Ubuntu Server，用户名和密码都是hadoop，安装完成后，克隆两份，这样就有三台机器，一台master，两台slave。克隆后的slave打开不能上网， 阅读全文
posted @ 2017-07-14 16:20 夕阳下的无名草
初识hadoop
摘要：Hadoop历史 雏形开始于2002年的Apache的Nutch，Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 随后在2003年Google发表了一篇技术学术论文谷歌文件系统（GFS）。GFS也就是google File Sy 阅读全文
posted @ 2017-07-14 15:20 夕阳下的无名草 阅读(313) 评论(0) 推荐(0)