1、MapReduce的原理分而治之,一个大任务分成多个小的子任务(map),并行执行后,合并结果(reduce) 2、MapReduce的运行流程基本概念-Job & Task-JobTracker-TaskTracker JobTracker:(1)作业调度(2)分配任务、监控任务执行进度(3) Read More
posted @ 2018-07-12 22:37 八千步 Views(139) Comments(0) Diggs(0) Edit
1、基本概念-块(block)-namenode-datanode hdfs文件分成块存储,默认64M,块是文件存储的逻辑单元hdfs有两类节点:nomenode、datanode nomenode是管理节点,存放文件元数据(1)文件与数据块的映射表(2)数据块与数据节点的映射表datanode是h Read More
posted @ 2018-07-12 22:36 八千步 Views(233) Comments(0) Diggs(0) Edit
Hadoop安装1、linux准备2、jdk准备,设置环境变量3、hadoop下载准备,解压后./conf 需要配置4个文件 hadoop-env.sh 修改java_home的目录 core-site.xml 配置 工作目录、元数据目录、如何访问 hdfs-site.xml 配置数据的路径 map Read More
posted @ 2018-07-12 22:34 八千步 Views(113) Comments(0) Diggs(0) Edit
mdsys.sdo_geometry 中SDO_ORDINATE存储的是空间对象的几何节点坐标序列,要想直接展示第一条值出来需要捞出数据 若select t.id,t.shape.sdo_ordinates from test1展示出来的是id和一个集合对象,我只需暂时集合对象第一个值或者某几个值出 Read More
posted @ 2018-07-12 22:30 八千步 Views(1659) Comments(0) Diggs(0) Edit