随笔分类 - 大数据
摘要：hive被大多数企业使用，学习它，利于自己掌握企业所使用的技术，这里从安装使用到概念、原理及如何使用遇到的问题，来讲解hive，希望对大家有所帮助。此篇内容较多：看完之后需要达到的目标1.hive是什么2.明白hive的原理3.会使用hive4.会使用hive编程1.hive首先我们需要hive是什
阅读全文
摘要：环境：CentOS6.5 Hadoop2.5.2 HBase1.0.0 1.安装好 hadoop 集群，并启动 [grid@hadoop4 ~]$ sh hadoop-2.5.2/sbin/start-dfs.sh [grid@hadoop4 ~]$ sh hadoop-2.5.2/sbin/sta
阅读全文
摘要：问题导读：1.配置的是谁的目录conf/hbase-site.xml，如何配置hbase.rootdir2.如何启动hbase？3.如何进入hbase shell?4.ssh如何达到互通？5.不安装NTP会发生什么情况？6.conf/hbase-env.sh文件的作用是什么？7.hbase.clus
阅读全文
摘要：列出当前hadoop正在执行的jobs: [hadoop@192.168.10.11 hadoop-0.20.2-cdh3u3]$ hadoop job -list10 jobs currently runningJobId State StartTime UserName Priority Sch
阅读全文
摘要：1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在Hadoop
阅读全文
摘要：本文为操作指导1.如何引用外部包？2.使用插件开发端口如何设置？如果你已经比较熟悉了,可以思考：1.hadoop脱离集群开发，加入外部包的作用是什么？2.Hadoop eclipse plugin的作用是什么，自己能否设计一个Hadoop eclipse plugin，该如何开发和设计？在我们的传统
阅读全文
摘要：问题导读：1.hadoop2.x自带wordcount在什么位置？2.运行wordcount程序，需要做哪些准备？此篇是在hadoop2完全分布式最新高可靠安装文档hadoop2.X使用手册1：通过web端口查看主节点、slave1节点及集群运行状态基础上对hadoop2.2的进一步认识。这里交给大
阅读全文
摘要：问题导读： 1.DataNode的http服务的端口、ipc服务的端口分别是哪个？ 2.NameNode的http服务的端口、ipc服务的端口分别是哪个？ 3.journalnode的http服务的端口、ipc服务的端口分别是哪个？ 4.ResourceManager的http服务端口是哪个？ 5.
阅读全文
摘要：问题导读：1.如何通过web查看hdfs集群状态2.如何通过web查看运行在在主节点master上ResourceManager状态3.如何通过web查看运行在在slave节点NodeManager资源状态 4.JobHistory 可以查看什么信息本文是在hadoop2的基础上hadoop2完全分
阅读全文
摘要：问题导读：1.如何配置各个节点之间无密码互通？2.启动hadoop，看不到进程的原因是什么？3.配置hadoop的步骤是什么？4.有哪些配置文件需要修改？5.如果没有配置文件，该如何找到该配置文件？6.环境变量配置了，但是不生效的原因是什么？7.如何查看hadoop2监控页面 首先说一下这个安装过程
阅读全文
摘要：一、常用文件及参数说明Core-site.xml 配置Common组件的属性hdfs-site.xml 配置hdfs参数，比如备份数目，镜像存放路径Mapred-site.xml 配置map-reduce组件的属性1.conf/core-site.xml <configuration> <prope
阅读全文
摘要：看这篇文章请出去跑两圈，然后泡一壶茶，边喝茶，边看，看完你就对hadoop整体有所了解了。Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括Zo
阅读全文
摘要：为什么需要在Mapper端进行归约处理？ 为什么可以在Mapper端进行归约处理？ 既然在Mapper端可以进行归约处理，为什么在Reducer端还要处理？ 上面三个问题，可以查看帖子 hadoop中，combine、partition、shuffle作用分别是什么？
阅读全文
摘要：零基础学习hadoop,没有想象的那么困难，也没有想象的那么容易。在刚接触云计算，曾经想过培训，但是培训机构的选择就让我很纠结。所以索性就自己学习了。整个过程整理一下，给大家参考，欢迎讨论，共同学习。从一开始什么都不懂，到能够搭建集群，开发。整个过程，只要有Linux基础，虚拟机化和java基础，其
阅读全文
摘要：当我们安装完毕hadoop2的时候，我们看到为啥没有jobtracker，这是因为hadoop2中已经没有jobtracer了，而是产生了yarn，yarn是什么那，可以看yarn详解，我们为什么已经安装了，但是却不知道已经成功了，原因是因为我们缺乏hadoop2的认识，下面介绍了hadoop1.X
阅读全文
摘要：随笔 - 70 文章 - 0 评论 - 88 随笔 - 70 文章 - 0 评论 - 88 随笔 - 70 文章 - 0 评论 - 88 Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo 近期为了分析国内航空旅游业常见安全漏洞，想到了用大数据来
阅读全文
摘要：Hadoop2.7.1集群环境的搭建 s204、s205是我的两台服务器hostname，可以用你对应的ip或者hostname代替 Hadoop2.7.1集群环境的搭建 s204、s205是我的两台服务器hostname，可以用你对应的ip或者hostname代替 Hadoop2.7.1集群环境的
阅读全文
摘要：安装过程： 一、安装Linux操作系统二、在Ubuntu下创建hadoop用户组和用户三、在Ubuntu下安装JDK四、修改机器名五、安装ssh服务六、建立ssh无密码登录本机七、安装hadoop八、在单机上运行hadoop一、安装Linux操作系统 我们是在windows中安装linux系统的，选
阅读全文
摘要：Windows下运行Hadoop，通常有两种方式：一种是用VM方式安装一个Linux操作系统，这样基本可以实现全Linux环境的Hadoop运行；另一种是通过Cygwin模拟Linux环境。后者的好处是使用比较方便，安装过程也简单。在这里咱们就来看看第二种方案：如何再Windows下快速安装一个Ha
阅读全文
摘要：问题导读： 1.什么是分布式文件系统？ 2.怎样分离元数据和数据？ 3.HDFS的原理是什么？ Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的 机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用
阅读全文
浙公网安备 33010602011771号