随笔分类 -  Hadoop学习系列

上一页 1 2
如何确定 Hadoop map和reduce的个数--map和reduce数量之间的关系是什么？
摘要：转自：http://www.aboutyun.com/thread-6945-1-1.html阅读本文可以带着下面问题：1.map和reduce的数量过多会导致什么情况？2.Reduce可以通过什么设置来增加任务个数？3.一个task的map数量由谁来决定？4.一个task的reduce数量由谁来决... 阅读全文
posted @ 2015-11-07 11:38 五三中 阅读(5422) 评论(0) 推荐(0)
WordCount示例深度学习MapReduce过程
摘要：转自：http://blog.csdn.net/yczws1/article/details/21794873.我们都安装完Hadoop之后，按照一些案例先要跑一个WourdCount程序，来测试Hadoop安装是否成功。在终端中用命令创建一个文件夹，简单的向两个文件中各写入一段话，然后运行Hado... 阅读全文
posted @ 2015-11-06 16:32 五三中 阅读(858) 评论(0) 推荐(0)
hBase官方文档以及HBase基础操作封装类
摘要：HBase 官方文档 0.97http://abloz.com/hbase/book.htmlHBase基本操作封装类（以课堂爬虫为例）package cn.crxy.spider.utils;import java.io.IOException;import java.util.ArrayList... 阅读全文
posted @ 2015-11-05 23:13 五三中 阅读(1449) 评论(0) 推荐(0)
hadoop job解决大数据量关联时数据倾斜的一种办法
摘要：转自：http://www.cnblogs.com/xuxm2007/archive/2011/09/01/2161929.htmlhttp://www.geminikwok.com/2011/04/02/hadoop-job解决大数据量关联时数据倾æ... 阅读全文
posted @ 2015-11-04 16:42 五三中 阅读(502) 评论(0) 推荐(0)
Hive中如何快速的复制一张分区表（包括数据）
摘要：转自：http://lxw1234.com/archives/2015/09/484.htm关键字：Hive 复制表Hive中有时候会遇到复制表的需求，复制表指的是复制表结构和数据。如果是针对非分区表，那很简单，可以使用CREATE TABLE new_table AS SELECT * FROM ... 阅读全文
posted @ 2015-11-04 00:36 五三中 阅读(5170) 评论(0) 推荐(1)
Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
摘要：转自：http://blog.csdn.net/yczws1/article/details/19178265。纯干货：Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解。 通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、H... 阅读全文
posted @ 2015-10-29 01:17 五三中 阅读(5735) 评论(0) 推荐(1)
spark学习系列
摘要：转自：http://www.cnblogs.com/magj2006/p/4316264.htmlspark 系列文章汇总源码导读spark 源码导读1 从spark启动脚本开始spark 源码导读2 进一步窥探Master、Worker启动及通信机制spark 源码导读3 进一步理解脚本调用关系s... 阅读全文
posted @ 2015-10-29 00:56 五三中 阅读(238) 评论(0) 推荐(0)
登录centos虚拟机后显示-bash-4.1
摘要：http://zhidao.baidu.com/link?url=KwpGOdwFw1oxnL71pvPlfRgbRL_IuQeYRzIYJjiDb2SnX0dQye5yUXqHAGSyuD6u2nDgfe85qNdpNxFITlAe3a跟我的现象一样 应该是删了/root 目录下的文件 通过这... 阅读全文
posted @ 2015-10-22 18:30 五三中 阅读(1178) 评论(0) 推荐(0)
Hbase导入MapReduce数据的时候提示Running Job XXXX后就一直卡着不动
摘要：代码确信无误之后，ant运行起来，发现一执行就卡在Running Job XXXX那里一直不动了。 试着把代码打包成jar扔到Linux执行也还是一样的效果。还是停在那里。然后就一顿瞎蒙。最后发现是Hadoop2的datanode的问题。当时试着执行list的时候发现是znode=null啥的... 阅读全文
posted @ 2015-05-31 17:53 五三中 阅读(1097) 评论(0) 推荐(0)
启动hadoop 2.6遇到的datanode启动不了
摘要：转自http://blog.csdn.net/zhangt85/article/details/42078347查看日志如下:2014-12-22 12:08:27,264 INFO org.mortbay.log: Started HttpServer2$SelectChannelConnecto... 阅读全文
posted @ 2015-05-26 16:50 五三中 阅读(800) 评论(0) 推荐(0)
there are 0 datanode.....
摘要：当时执行hive的导入数据load data inpath "XXXX" into table.....的时候发现总是导不进去，最后试了下简单的从Linux 到 HDFS上传文件发现都不成功，提示datanode的问题。后来省事就直接将以前成功安装的hadoop-2.6.0的文件夹整个替代掉再bin... 阅读全文
posted @ 2015-05-21 23:18 五三中 阅读(277) 评论(0) 推荐(0)
更改HDFS权限
摘要：hdfs dfs -chmod -R 755 /之前执行过这条语句，但是总是提示：15/05/21 08:10:18 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using... 阅读全文
posted @ 2015-05-21 23:14 五三中 阅读(1197) 评论(0) 推荐(0)
VMware提示：已将该虚拟机配置为使用 64 位客户机操作系统。但是，无法执行 64 位操作。解决方案
摘要：新买了个笔记本，在学习大数据的时候装上VMWare，运行虚拟机发现提示无法执行64位操作。本人系统是win7,64位系统。之后就是一顿度娘，发现千篇一律都是检测CPU支不支持虚拟化，支持的话去BIOS里设置虚拟化技术设置为enabled。本以为就像是网上说的那样保存重启就OK了，但是保存了设置和... 阅读全文
posted @ 2015-05-09 11:36 五三中 阅读(28871) 评论(0) 推荐(0)
Hive学习
摘要：这几天都在学习Hive，在安装方面花费了不少时间，主要问题集中在：1）创建数据库后创建表不成功，提示Specified key was too long; max key length is 767 bytes 长度的问题。因为用的不是案例的数据库，傻不拉几折腾了好些时间。2）总算创建表成功了... 阅读全文
posted @ 2015-05-05 15:35 五三中 阅读(183) 评论(0) 推荐(0)
linux下mysql安装
摘要：转自：http://blog.csdn.net/hugengyong/article/details/38237819 以及 http://www.2cto.com/database/201309/240558.html 如果要在Linux上做j2ee开发，首先得搭建好j2ee的开发环境，包括了jd 阅读全文
posted @ 2015-05-05 14:37 五三中 阅读(325) 评论(0) 推荐(0)
hive执行流程分析
摘要：转自：http://blog.csdn.net/gexiaobaohelloworld/article/details/7719163入口：bin/hive脚本中，环境检查后执行ext中的cli.sh，进入主类：CliDriver.main。CliDriver.main:进入cli.processL... 阅读全文
posted @ 2015-05-02 16:51 五三中 阅读(1553) 评论(0) 推荐(0)

上一页 1 2