随笔分类 -  大数据

hadoop
访问HDFS文件系统
摘要：一、命令行接口 默认操作的是hdfs hadoop dfsadmin -safemode leave/enter 离开或进入安全模式 hadoop fs -copyFromLocal localfrom hdfsdest 从本地文件系统复制文件到hdfs hadoop fs -ls 可以通过指定UR 阅读全文
posted @ 2019-10-07 20:39 FromScratch 阅读(941) 评论(0) 推荐(0)
mapreduce程序执行过程
摘要：1、客户端程序，设置作业相关的配置和计算输入分片信息，向RM获取一个JOBID,提交作业信息（分片）到以作业ID为目录下，通知APP——MASTER 2、APP——MASTER，读取指定目录下的作业信息，根据分片信息，建立MAP 任务 MAP在输出时，会根据reducer的数量，在内存中分区，并使用 阅读全文
posted @ 2019-10-07 17:45 FromScratch 阅读(396) 评论(0) 推荐(0)
单词计数示例
摘要：一、代码 import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configured;import org.apache. 阅读全文
posted @ 2019-10-07 17:12 FromScratch 阅读(235) 评论(0) 推荐(0)
hadoop程序理解
摘要：1、利用hadoop的API写程序 驱动程序中利用hadoop的API，获取配置，默认会根据HADOOP_HOME环境变量指定的HADOOP主目录下/etc/hadoop加载配置文件 2、启动利用 -conf 显式指定配置文件，可以修改环境变量HADOOP_CONF_DIR指定配置文件默认加载目录 阅读全文
posted @ 2019-09-22 16:49 FromScratch 阅读(156) 评论(0) 推荐(0)
安装hadoop
摘要：1、环境变量 export JAVA_HOME=/root/soft/jdk8export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jarexport HADOOP_HOME=/root/soft/h 阅读全文
posted @ 2019-09-15 15:45 FromScratch 阅读(161) 评论(0) 推荐(0)