孟尧

摘要： 一、下载组件： slf4j:http：//www.slf4j.org/download.html logback：http://logback.qos.ch/download.html Logback 分为三个模块：logback-core，logback-classic，logback-acce... 阅读全文

摘要： 需求：在使用Sqoop的时候需要从Linux服务器远程登录到Windows的MySql数据库，进行数据迁移时。1、使用命令登录mysql数据库 mysql -uroot -p1234562、mysql默认是不允许远程连接的，修改为可以使用远程连接 grantallon *.*to'root'@'... 阅读全文

摘要： 在CentOS中安装MySql报错error: Failed dependencies解决办法安装64位MySql报错内容如下：error: Failed dependencies: libaio.so.1()(64bit) is needed by MySQL-server-5.6.19-1.e... 阅读全文

摘要： 在h4节点上安装mysql安装mysql服务端rpm -ivh MySQL-server-5.6.19-1.el6.x86_64.rpm安装mysql客户端rpm -ivh MySQL-client-5.6.19-1.el6.x86_64.rpmMySql忘记密码忘记设置mysql时通过如下方法设置... 阅读全文

摘要： 1、使用命令方式 进入pom.xml文件所在的目录，使用命令将jar包导出到D盘lib文件夹中（没有-DoutputDirectory则默认导出到当前项目的target/dependency目录中）。 D:\workspace\jee-mars1-x64\crawler>mvn dependen... 阅读全文

摘要： Map任务数量由InputSplit决定，InputSplit分片大小默认是HDFS块大小（hadoop1.x=64mb，hadoop2.x是128mb）。例如： MapReduce作业读取HDFS上（hadoop2.x）两个文件，一个是200MB，一个是100MB，这时候就有3个InputSpl... 阅读全文

摘要： 集群HA模式下的MapReduce代码设置 Configuration conf = HBaseConfiguration.create();conf.set("hbase.zookeeper.quorum", "zk1:2181,zk2:2181,zk3:2181");conf.set("hbas 阅读全文

摘要： 把输入文件切分成块、由块变成key和value到Mapper类map(k1, v1)的过程 控制输入文件切分、生成key和value传递到Mapper类的map()方法使用（InputFormat，它是一个抽象类，实现则由各个子类完成）： 通常在每个MapReduce的Job中，都会调用jo... 阅读全文

摘要： 1、Mapper类，有setup()、map()、run()、cleanup()这4个方法，如下： setup():在run方法执行前首先被调用，且只调用1次，通常用于初始化。 map():需要重写的方法，此方法中实现业务逻辑。run方法会循环遍历，为每个key、value调用一次这个方法。 run... 阅读全文

摘要： 1 package com.mengyao.hadoop.mapreduce; 2 3 import java.io.DataInput; 4 import java.io.DataOutput; 5 import java.io.IOException; 6 import java... 阅读全文