Maxwell-HE

摘要： 最近接到一个日志收集的需求，经过测试和修改，目前基本实现想要的功能，记录一下。 先说一下日志收集的需求，每隔1小时收集一次log日志，按照类别生成不同的lzo压缩文件，而且生成的日志要放在到前一个小时的目录中。 拿到这个需求先想到使用flume来进行日志收集，再用Interceptor进行过... 阅读全文

摘要： Shark & Hive & Spark & Hadoop2 进行整合的测试。 Hive Internal Error: java.util.NoSuchElementException 问题的解决 阅读全文

摘要： 本文主要介绍Shark Hive Spark Hadoop2 单机运行环境的搭建 阅读全文

摘要： 利用maven打包spark项目，运行生成的jar包（例如：java -jar DataAnalygis.jar hdfs://server1:8020/tasks/files)，运行时报以下异常。Exception in thread "main" java.lang.RuntimeException: java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.mapred.JobConf.getWorkingDirectory(JobConf.java:657) at org.apa 阅读全文

摘要： 在虚拟机上安装Hadoop 2环境，版本使用Hadoop2.2.0。 Hadoop2 HDFS 的具有HA和Federation两种形式，配置上略有不同。以下把过程记录下来，留待以后查阅，也希望给人以便利。准备工作 下载 http://mirrors.cnnic.cn/apache/hadoop/common/stable/hadoop-2.2.0.tar.gz 操作系统 ubuntu12.04 虚拟机 Vmware 安装操作系统， 此步骤略 本次测试安装四台虚拟机hostnameIP1hw-0100192.168.1.1002hw-0... 阅读全文

摘要： 在使用Cloudera CDH5.0.0-beta-1，日志中显示本地库不能加载的问题。WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable查看$HADOOP_HOME/lib/native目录，果然没有Linux-*的本地库文件。 解决方法： 1. 可以使用源代码重新编译，生成本地库。 参考：http://blog.itpub.net/187737... 阅读全文

摘要： 使用sqoop命令从mysql导入hdfs中。sqoop import \--connect jdbc:mysql://localhost:3306/sqoop \--username root \--password root \--table student \--null-string '@@@' \--null-non-string '###' 备注:--null-string含义是 string类型的字段，当Value是NULL，替换成指定的字符，该例子中为@@@--null-non-string 含义是非string类型的字段，当Value是NULL 阅读全文

摘要： 最近打算在Eclipse Kepler 下安装Maven。当然是先搜索一下guide了， 网上有一大堆，内容也都一样。但我按照那些方法，均失败。使用的repository url 包括：http://download.eclipse.org/technology/m2e/releases http://m2eclipse.sonatype.org/sites/m2e提示Unable to read repository at http://download.eclipse.org/technology/m2e/releases。 有可能是这两个库暂时关闭了或者GFW的原因。 Anyway，看. 阅读全文