Chris,Cai

摘要： 阅读全文

摘要： 一 函数概念 二 函数的特性 奇函数关于原点对称 偶函数关于轴对称 三 函数的类型 四 指数函数 指数函数运算法则 ： ① ② ③ ④ 与 的图像关于y轴对称 五 对数函数 注意：负数和0没有对数。 两句经典话：底真同对数正，底真异对数负。解释如下： 也就是说：若y=logab （其中a>0，a≠1 阅读全文

摘要： MapReduce 里面的shuffle:描述者数据从map task 输出到reduce task 输入的这段过程 Shuffle 过程： 首先，map 输出的<key,value > 会放在内存中，内存有一定的大小，超过之后，会将内存里的东西溢写（spill） 到磁盘（disk)中 。在从内存溢 阅读全文

摘要： 将文件split 文件1： 分割结果： hello world <0, "hello world"> this is wordcount <12,"this is wordcount"> 文件2： hello china <0,"hello china"> hello IT <12,"hello I 阅读全文

摘要： 启动Hdfs 系统的时候，其中的一个阶段“”安全模式 发生阶段：NameNode启动中，已经读取了fsimage 并且生成了edits 文件，在等待dataNode 向nameNode 发送block report 的过程中 退出：当datanodes blocks / totoal blocks 阅读全文

摘要： maven Denpendency 阅读全文

摘要： Maven 官网，下载maven 包 http://maven.apache.org/download.cgi 下载完成：apache-maven-3.6.1-bin.tar.gz 解压到自定义目录：/opt/modules/apache-maven-3.6.1 配置环境变量： 切换到root用户 阅读全文

摘要： HDFS 系统架构图 NameNode 是主节点，存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等。NameNode将这些信息加载到内存并进行拼装，就成为了一个完整的元数据信息 NameNode的启动过程： 第一次启动 阅读全文

摘要： HDFS: NameNode: DataNodes: slaves指定的 SecondaryNameNode Yarn ResourceManager NodeManagers slaves指定的运行的主机名 MapReduce: $ sbin/stop-dfs.sh $ sbin/stop-yar 阅读全文

摘要： 配置文件： 默认的配置文件：相对应的jar 中 core-default.xml hdfs-default.xml yarn-default.xml mapred-default.xml 自定义配置文件$HADOOP_HOME/etc/hadoop/ core.site.xml hdfs-site. 阅读全文