文章分类 -  Hadoop

hdfs编程-读写/合并小文件
摘要：HDFS编程 写数据 读数据 向SequenceFile写入数据 读取SequenceFile文件 阅读全文
posted @ 2019-11-29 17:13 小码农成长记 阅读(369) 评论(0) 推荐(0)
hadoop知识系列：Hadoop fs命令
摘要：1. hdfs基本操作 hadoop fs类似于hdfs dfs hadoop fs类似于hdfs dfs 如何查看hdfs子命令的帮助信息，如ls子命令 查看hdfs文件系统中已经存在的文件 在hdfs文件系统中创建文件 从本地路径上传文件至HDFS 在hdfs文件系统中下载文件 在hdfs文件系 阅读全文
posted @ 2019-11-29 16:32 小码农成长记 阅读(1022) 评论(0) 推荐(0)
hadoop知识系列二：读写hdfs
摘要：一.hdfs读写流程 读: 步骤一. HDFS的client客户端调用分布式文件系统对象的open()方法,然后通过RPC(远程过程调用)方式调用NameNode的open(),本质就是获取DataNode的block locations信息(与客户端远近做了排序)，并返回到客户端。 步骤二.HDF 阅读全文
posted @ 2019-07-24 12:00 小码农成长记 阅读(219) 评论(0) 推荐(0)
hadoop知识系列一：hdfs
摘要：一、Hadoop是什么 1.1 Hadoop架构 HDFS (Hadoop Distributed File System)；Hadoop由三个模块组成：分布式存储HDFS、分布式计算MapReduce、资源调度引擎Yarn 1.2 分布式是什么 分布式：利用一批通过网络连接的、廉价普通的机器，完成 阅读全文
posted @ 2019-07-24 11:51 小码农成长记 阅读(367) 评论(0) 推荐(0)
Hadoop进阶算法-矩阵相乘
摘要：1、结果矩阵r=左矩阵aX右矩阵b（i表示行，j表示列） 根据矩阵乘法规则：r11=(a11,a12,a13,a14)X(b11,b21,b31,b41)，即左矩阵每一行 X 右矩阵每一列 = 结果每一个数据，对于矩阵定义与运算不多说，大家应该都熟悉。 因为hadoop获取数据都是一行一行获取，所以 阅读全文
posted @ 2019-06-01 16:57 小码农成长记 阅读(579) 评论(0) 推荐(0)
hadoop windows平台开发环境搭建
摘要：1.前序 学习大数据，高配置的电脑是必不可少的，因为要安装很多的软件，尤其是虚拟机是比较耗性能，可能会出现卡顿的情况，非常影响程序编写。但是，低配置（windows系统下，无需安装虚拟机）也是可以搭建简单的单机模式的hadoop，可以达到初步了解hadoop操作与开发的功能。在windows系统下， 阅读全文
posted @ 2018-09-17 22:16 小码农成长记 阅读(245) 评论(0) 推荐(0)
Windows平台安装配置Hadoop2.5.2(不借助cygwin)
摘要：一、步骤： 1.JDK安装； 2.下载hadoop2.7.4.tar.gz，或者自行去百度下载； 3.下载hadooponwindows-master.zip【**能支持在windows运行hadoop的工具】。 二、安装hadoop2.7.4 下载hadoop2.7.4.tar.gz ，并解压到想 阅读全文
posted @ 2018-09-17 22:02 小码农成长记 阅读(218) 评论(0) 推荐(0)