07 2015 档案

在IntelliJ中运行Spark Demo时遇到的问题及解决办法
摘要：这一阶段主要是在学习Scala，知乎上说推荐先学习一下Haskell再学习Scala，但我觉得不一定要曲线救国。不过在学习过程中遇到的困难的确不少，好歹Scala是公认的其特性的复杂程度是要超过C++的嘛:-)我学习Scala的主要动机是想研究Spark，尽管Python和Java等都可以用来开发S... 阅读全文
posted @ 2015-07-27 20:18 tinylcy 阅读(2123) 评论(0) 推荐(0)
Hadoop: No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).解决办法
摘要：在eclipse中运行Hadoop程序时出现如下问题：log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Please ... 阅读全文
posted @ 2015-07-19 10:03 tinylcy 阅读(2953) 评论(0) 推荐(2)
Spark Standalone Mode
摘要：因为Spark与Hadoop是关联的，所以在安装Spark前应该根据已安装的Hadoop版本来选择待安装的Sqark版本，要不然就会报“Server IPC version X cannot communicate with client version Y”的错误。 我安装的Hadoop版本为Ha... 阅读全文
posted @ 2015-07-18 20:45 tinylcy 阅读(539) 评论(0) 推荐(0)
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...解决办法
摘要：在执行Hadoop命令的时候会出现这样的警告：解决办法：在profile文件中添加：export JAVA_LIBRARY_PATH=${HADOOP_HOME}/lib/native这是在调用Hadoop里的库。具体可以参考www.cnblogs.com/gpcuster/archive/2011... 阅读全文
posted @ 2015-07-18 13:49 tinylcy 阅读(482) 评论(0) 推荐(0)
利用POI读取Excel文件并写入MySQL
摘要：昨天需要将Excel中的内容读取至MySQL中，我利用POI来实现这一需求，POI可以从这里下载。同时，如果要操作Excel2007，必须还要加入xmlbeans-2.3.0.jar。这是我要读取的Excel表的内容：注意表中数据存在日期、空格。定义一个Project类：package readex... 阅读全文
posted @ 2015-07-17 13:55 tinylcy 阅读(709) 评论(0) 推荐(0)
Hadoop生产集群的监视——计数器
摘要：可以在Hadoop作业中插桩计数器来分析其整体运作。在程序中定义不同的计数器，分别累计特定事件的发生次数。对于来自同一个作业所有任务的相同计数器，Hadoop会自动对它们进行求和， 以反映整个作业的情况。这些计数器的数值会在JobTracker的Web用户界面中与Hadoop的内部计数器一起显示... 阅读全文
posted @ 2015-07-15 18:06 tinylcy 阅读(836) 评论(0) 推荐(0)