花红

摘要： **--** SQL关键词执行顺序 from > where条件 > group by > having条件>select>order by>limit 注意：sql一旦出现group by，后续的关键词能够操作字段只有(分组依据字段，组函数处理结果) # 0. 各个数据类型的字段访问(array、 阅读全文

摘要： 把hdfs文件和hive表建立关联。以此可以保证，在对hive表做操作的时候，可以由hive转换成操作表对应的HDFS文件 1.自定义分隔符 # 分隔符设计 下面的自定义分割符对应的数据示例 101，zhangsan,25,13676910861-1366666666，62.|农业银行-58.|建设 阅读全文

摘要： # 下载jdk： 终端输入命令yum -y install java-1.8.0-openjdk java-1.8.0-openjdk-devel # 解压 tar zxvf 压缩包路径 -C 解压到的目录路径 # 设置ip vi /etc/sysconfig/network-scripts/ifc 阅读全文

摘要： 图解 mapreduce工作流程 # 0. 任务提交 1. 拆-split逻辑切片--任务切分。 FileInputFormat--split切片计算工具 FileSplit--单个计算任务的数据范围。 2. 获得split信息和个数。 # MapTask阶段 1. 读取split范围内的数据。k( 阅读全文

摘要： package hadoop; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import or 阅读全文

摘要： 手动安全模式 理由：实际开发中为了对HDFS进行维护，会手动NameNode进入安全模式 注意：safemode安全模式下，只能对HDFS中文件进行读操作，不能进行写操作(上传 修改 删除 移动) 0. 查看hfds安全模式状态 hdfs dfsadmin -safemode get 1. 进入安全 阅读全文

摘要： HDFS(分布式文件系统) 入门 简介 HDFS 全称 Hadoop Distributed File System 中文 Hadoop分布式文件系统。 说明：HDFS技术属于Hadoop内的一个子技术。 作用：解决海量数据存储问题 分布式文件系统(多台计算机存储) ​ 突破单体服务器的存储能力。 阅读全文

摘要： HDFS客户端 上传文件、下载文件、修改文件名、删除文件、(HDFS中的文件内容一定不会修改) HDFS命令 常见命令 (如有不足请联系补充,谢谢!) 命令语法 含义 示例代码 hdfs dfs -ls [-R] hdfs文件路径 查看文件元数据信息 hdfs dfs -ls / hdfs dfs 阅读全文

摘要： 图解 文解 1.配置环境变量 vim /etc/profile 以下是环境变量 配置HADOOP_HOME export HADOOP_HOME=/opt/installs/hadoop2.8.3 配置PATH export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_H 阅读全文

摘要： System.getProperty("user.dir") 解释： 默认定位到的当前用户目录("user.dir")（即工程根目录） JVM就可以据"user.dir" + "你自己设置的目录" 得到完整的路径（即绝对路径） 这有个前提，你的工程不是web项目，不然，这个返回值就不是项目的根目录啦 阅读全文