摘要： MapReduce是一种分布式计算模型。由Map和reduce两个阶段组成，用户只需要实现Map（）和Reduce（）两个函数即可实现分布式计算。这两个函数的形参是key,value对，表示函数的输入信息。执行步骤：1. map任务处理1.1 读取输入文件内容，解析成key、value对。对输入文件... 阅读全文

摘要： 假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动HADOOP进入HADOOP_HOME目录。执行sh bin/start-all.sh进入HADOOP_HOME目录。执行sh bin/stop-all.sh关闭HADOOP文件操作Hadoop使用... 阅读全文

摘要： 1. cd /usr/local/hadoop/tmp/dfs/name/current可以看到关键的文件edits和fsimage2.cd /usr/local/hadoop/conf可以看到关键的配置文件：core-site.xml:hdfs-site.xml的dfs.name.dir属性hdf... 阅读全文

摘要： 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。所有的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。HDFS的scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参... 阅读全文

摘要： 1.1 设置ip地址 执行命令 service network restart 验证: ifconfig1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status1.3 关闭防火墙的自动运行 执行命令 chkconfig ipt... 阅读全文

摘要： 1.通过远程工具登陆到linux后，所在的位置是当前登录用户的家目录(home directory)。2.家目录的符号用~表示。3.linux的文件系统是一个树结构。 linux文件系统的树根成为根目录，使用符号"/"表示。 linux文件系统中使用符号".."表示上级目录。 linux文件系... 阅读全文

摘要： 1.HDFS部署 阅读全文

摘要： 1.HDFS的定义与特色以文件为基本存储单位的劣势：难以实现负载均衡——文件大小不同，负载均衡难实现；用户自己控制文件大小； 难以实现并行化处理——只能利用一个节点资源处理一个文件，无法动用集群资源；HDFS的定义：易于扩展的分布式文件系统；运行在大量廉价机器上，提供容错... 阅读全文

摘要： 1.大数据学习方向：一是系统建设技术，二，海量数据应用。先说系统建设，现在主流的技术是HADOOP，主要基于mapreduce的分布式框架。目前可以先学习这个。但是我的观点，在分布式系统出来之前，主要是集中式架构，如DB2，oracle。为什么现在用分布式架构，那是因为现在集中式架构受限于IO性能，... 阅读全文