摘要:
不多说,直接上干货! http://www.eclipse.org/downloads/packages/release/Kepler/SR2 下载到/usr/local/下,解压完成之后,我们想用这个Eclipse。 》如何快速创建桌面快捷方式??? 第一步:取名字eclipse Name:ecc 阅读全文
posted @ 2016-09-03 19:33
大数据和AI躺过的坑
阅读(1188)
评论(0)
推荐(0)
摘要:
不多说,直接上干货! 1、Shift + Alt + S Hadoop没有使用jdk自带的默认序列化机制。 现在呢,hadoop-2.*里有两套序列化机制。一个是自己hadoop的序列化机制,一个是谷歌的。 所以,要改为。。 ********* > reduce 把前面一大串,去掉,就不出错了。因为 阅读全文
posted @ 2016-09-03 17:43
大数据和AI躺过的坑
阅读(815)
评论(0)
推荐(1)
摘要:
不多说,直接上干货! 这个暂时,没写好。 K1,v1 这是增强的for循环。 for(Sting w : words) { } 迭代器里,前面,放的是什么类型,后面,迭代的是谁。 欢迎大家,加入我的微信公众号:大数据躺过的坑 人工智能躺过的坑 同时,大家可以关注我的个人博客: http://www. 阅读全文
posted @ 2016-09-03 17:14
大数据和AI躺过的坑
阅读(419)
评论(0)
推荐(0)
摘要:
不多说,直接上干货! Shuffle是非常非常非常重要。搞mr,必须熟烂于心。 因为,分区,分组,排序,,,都是在Shuffle里完成。 欢迎大家,加入我的微信公众号:大数据躺过的坑 人工智能躺过的坑 同时,大家可以关注我的个人博客: http://www.cnblogs.com/zlslch/ 和 阅读全文
posted @ 2016-09-03 15:47
大数据和AI躺过的坑
阅读(472)
评论(0)
推荐(0)
摘要:
不多说,直接上干货! Tracker是跟踪者,跟踪器。JobTracker是项目经理。在hadoop2*的0.23版本之后,改叫RM了。ResourceManager。TaskTracker是小组长。它手下,还有具体搬砖的。在hadoop2*的0.23版本之后,改叫NM了。NodeManager。 阅读全文
posted @ 2016-09-03 15:41
大数据和AI躺过的坑
阅读(1332)
评论(0)
推荐(0)
摘要:
不多说,直接上干货! 总之一句话,这些都是hadoop-2.2.0的源代码里有的。也就是不光只是懂理论,编程最重要,还是基本功要扎实啊。。。。 在hadoop-2.2.0的源码里,按Ctrl + Shift + T 。 跳进某个方法里,按F5。F6。 跳出某个方法里,按F7。 欢迎大家,加入我的微信 阅读全文
posted @ 2016-09-03 15:32
大数据和AI躺过的坑
阅读(394)
评论(0)
推荐(0)
摘要:
不多说,直接上干货! RPC >远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应 阅读全文
posted @ 2016-09-03 15:28
大数据和AI躺过的坑
阅读(405)
评论(0)
推荐(0)
摘要:
不多说,直接上干货! ************************* 有些,是没必要全导入的。以后到工作了,用Maven,就自动会导入其中一些。************************ 一般,工作中,用的更多的是java接口的方式来操作HDFS。 HDFS shell接口,一般是在,删除 阅读全文
posted @ 2016-09-03 15:01
大数据和AI躺过的坑
阅读(4317)
评论(0)
推荐(0)
摘要:
不多说,直接上干货! 首先,要有这个观念,元数据信息(fsimage + editslog)。 fsimage是在磁盘 metadata是在内存 ********************fsimage把内存的,序列化到磁盘了。******************** 元数据信息(fsimage + 阅读全文
posted @ 2016-09-03 14:32
大数据和AI躺过的坑
阅读(3538)
评论(0)
推荐(0)
摘要:
不多说,直接上干货! ls / 这是查本地Linux上的根 hadoop fs -ls / 这是查hdfs上的根 或者, hadoop fs -ls hdfs://localhost:9000/ 这是查hdfs上的根 即。hdfs://localhost:9000是可以省略的。 通过浏览器,可以看到 阅读全文
posted @ 2016-09-03 09:00
大数据和AI躺过的坑
阅读(317)
评论(0)
推荐(0)
摘要:
不多说,直接上干货! 》 1、 启动./start-dfs.sh的顺序是: namenode,datanode,secondarynamenode。 每一个前面,都有一个主机名。说明是采用的是SSH协议。 2、 启动./start-yarn.sh的顺序是: 欢迎大家,加入我的微信公众号:大数据躺过的 阅读全文
posted @ 2016-09-03 08:43
大数据和AI躺过的坑
阅读(612)
评论(0)
推荐(0)
摘要:
不多说,直接上干货! > 数据量越来越多,在一个操作系统管辖的范围存下不了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。形象化比喻,如百度网盘、360云盘。 常见的分布式文件系统有,GFS、HDFS、Lustre 阅读全文
posted @ 2016-09-03 08:22
大数据和AI躺过的坑
阅读(583)
评论(0)
推荐(0)