摘要： 自动代码 常用的有fori/sout/psvm+Tab即可生成循环、System.out、main方法等boilerplate样板代码 。例如要输入for(User user : users)只需输入user.for+Tab ；再比如，要输入Date birthday = user.getBirth 阅读全文

摘要： 1.简单描述Shuffle过程环形缓冲区的作用？ key，value从map()方法输出，被outputcollector收集通过getpartitioner()方法获取分区号，在进入环形缓冲区。默认情况下，环形缓冲区大小值为100MB。当map输入的数据进入环形缓冲区的量达到80MB以上时，那么开 阅读全文

摘要： hadoop序列化：序列化：将对象序列化成字节序列 （方便磁盘存储和网络传输）反序列化：将字节序列转换成对象hadoop的序列化的优点：（只对数据进行序列化）紧凑 快速 可扩展 可以跨语言交互序列化步骤1:使用Writer接口 implements Writable步骤2 /** * 注意点： * 阅读全文

摘要： 1.mapreduce定义和优缺点？MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发行在一个Hadoop集群上。优点：1）.MapReduce 阅读全文

摘要： 1.通过代码验证集群的配置文件的优先级1．编写源代码@Testpublic void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException { // 1 获取文件系统 Configur 阅读全文

摘要： package com.jinghang.hdfsclient;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;import o 阅读全文

摘要： HDFS的组成，NameNode，DataNode，SecondaryNameNode作用？ HDFS是什么？ HDFS的优缺点： HDFS的块大小，为什么不能太大，也不能太小？ 1．基本语法 bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类。 2 阅读全文

摘要： 1.准备虚拟机2.修改静态ip DEVICE="eth0" BOOTPROTO="static" HWADDR="00:0C:29:A2:3B:C9" IPV6INIT="yes" NM_CONTROLLED="yes" ONBOOT="yes" TYPE="Ethernet" UUID="0202 阅读全文

摘要： 1.判断/root/class21/inittab.txt文件是否大于100行，如果大于，则显示”inittab is a big file.”否者显示”inittab is a small file.” #!/bin/bash num=$(awk "BEGIN{sum=0}{sum+=1}END{ 阅读全文

摘要： 一句话来概括shell shell是一个基于Linux内核和应用程序之间的一个解释器Shell解释器 /bin/sh /bin/bash 目前多用的是bash /sbin/nologin /bin/dash /bin/tcsh /bin/cshShell的编程语言： 编写第一个shell脚本 1.删 阅读全文