随笔分类 -  Hadoop

主要为hadoop学习,问题，资源，研究的相关博客
[转]这5种必知的大数据处理框架技术
摘要：大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。 本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例 阅读全文
posted @ 2017-04-27 10:56 jason_zhangz 阅读(334) 评论(0) 推荐(0)
[原创] Windows下Eclipse连接hadoop
摘要：1 下载hadoop-eclipse-plugin ：我用的是hadoop-eclipse-plugin1.2.1 ，百度自行下载 2 配置插件：将下载的插件解压，把插件放到..\eclipse\plugins目录下 3重启eclipse，配置Hadoop installation director 阅读全文
posted @ 2016-05-18 22:42 jason_zhangz 阅读(167) 评论(0) 推荐(0)
[原创] hadoop学习笔记：wordcout程序实践
摘要：看了官网上的示例：但是给的不是很清楚，这里依托官网给出的示例，加上自己的实践，解析worcount程序的操作 1.首先你的确定你的集群正确安装，并且启动你的集群，应为这个是hadoop2.6.0，所以你的启动以下的守护进程： $sbin/ ./start-dfs.sh $sbin/ ./start- 阅读全文
posted @ 2016-04-05 22:18 jason_zhangz 阅读(348) 评论(0) 推荐(0)
[原创] hadoop学习笔记：重新格式化HDFS文件系统
摘要：所谓的重新格式化HDFS文件系统，实际意味着重新的创建一个HDFS文件系统。也就是说，必须将先前的已经有的文件系统配置删除。如下： 笔者采用的是最小化安装 这个是core-site.xml配置 这个是 hdfs-site.xml配置 这里说的删除配置就是在集群中将所配置的目录删除即可。 mastet 阅读全文
posted @ 2016-04-05 19:41 jason_zhangz 阅读(1301) 评论(0) 推荐(0)
[原创] hadoop学习笔记：卸载和安装jdk
摘要：一，卸载jdk 1.确定jdk版本 #rpm -qa | grep jak 可能的结果： java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64 java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_6 阅读全文
posted @ 2016-04-04 14:24 jason_zhangz 阅读(1408) 评论(1) 推荐(0)
[原创] hadoop学习笔记：hadoopWEB监控
摘要：笔者安装单机版本 要想实现hadoopweb页面的监控，需要解决以下几个问题 1.关闭linux的防火墙：#service iptables stop 2.将linuxSE设置为disabled：#vim /etc/sysconfig/selinux selinux =disabled 如图： 3. 阅读全文
posted @ 2016-03-21 18:29 jason_zhangz 阅读(652) 评论(0) 推荐(0)
[转]关于安装hadoop中出现的的 $HADOOP_HOME is deprecated 的解决方法
摘要：当前用户的.bash_profile在/home/用户/下，系统的.bash_profile在/etc/skel目录下; 默认可能是隐藏的；有人会问了，隐藏的我怎么打开它，一个简单的办法，直接使用vi命令打开指定目录下的该文件就可以了；比如：vi /root/.bash_profile 说白了修改方 阅读全文
posted @ 2015-11-03 23:25 jason_zhangz 阅读(329) 评论(0) 推荐(0)