随笔分类 -  hadoop

摘要：HDFS的读写流程（重点！） 写数据 写数据就是将客户端上的数据上传到HDFS 2.6.1 宏观过程 每一个block块都需要进行机架感知，得到block块以及副本的存储DN的节点，然后DN节点之间组成pipeline,然后客户端将block块拆分成多个packet,每个packet大小为64K,然 阅读全文

摘要：hadoop相关进程 HDFS相关（NN,DN,SNN） NameNode(NN) NameNode中存储的信息： 1.文件 --> 元数据 元数据包括：名称，大小，时间，权限等等 2.文件 --> Blocks（每128M生成一个Block块） block0 - 111 block1 - 222 阅读全文

摘要：一、Hadoop环境变量的配置 首先进入linux环境配置的文件 vim /etc/profile 这样就进入配置文件的界面 然后按下英文字母i就可以进入文件的编辑模式，后面输入环境变量的配置： HADOOP_HOME= （hadoop文件的根目录） PATH=.:$HADOOP/bin（Hadoo 阅读全文

摘要：一、统计一段英文短文中个单词的数量 英文短文如下： Convolutional layers are an important part of distinguishing traditional neural networks and play an important role in extra 阅读全文

摘要：一、MapReduce架构特点 MapReduce1.x JobTracker 主节点，单点，负责调度所有的作用和监控整个集群的资源负载。 TaskTracker 从节点，自身节点资源管理和JobTracker进行心跳联系，汇报资源和获取task。 Client 以作业为单位，规划作业计算分布，提交 阅读全文

摘要：Hadoop集群搭建（完全分布式版本）（三节点） 一、准备工作 三台虚拟机：master、node1、node2 时间同步 ntpdate ntp.aliyun.com 调整时区 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime jdk1.8 j 阅读全文

摘要：Hadoop2.7.6学习 ​ Hadoop(java) ​ HDFS ​ MapReduce ​ Hadoop三大开源发行版本：Apache、Cloudera（CDH）、Hortonworks（HDP）。Apache版本最原始（最基础）的版本，对于入门学习最好。Cloudera在大型互联网企业中用 阅读全文