骑小象去远方

摘要： Job aborted due to stage failure: Task not serializable: If you see this error: The above error can be triggered when you intialize a variable on the 阅读全文

摘要： 服务器更换,需要把hive使用的mysql库迁移到其他服务器上. 整个过程很简单,就是数据库导出导入 1.在原服务器将数据库导出 2.在目标服务器上新建数据库,用户,权限设置 3.复制数据库文件到目标服务器 4.目标服务器上,把数据库文件导入数据库 到sql存放目录,进入数据库 5.如果hive中配 阅读全文

摘要： 在spark 1.4 jobserver 0.5 环境执行的时候,程序并没有出错. 在spark1.5 jobserver0.6 环境执行的时候出了上面的错误 所以肯定跟环境是有关系的.在spark-defaults.conf中设置serializer 为 org.apache.spark.seri 阅读全文

摘要： 今天在用程序通过hdfs拷贝数据至hadoop上的时候报了这个错误 当看到这个错误,以为可能是下面几个原因 1. datanode 挂了 2. datanode 没有空间了 3. datanode 与namenode或者客户端机的连接有问题 但是看了一下,没有这些问题. 接着在集群的客户端机上,通过 阅读全文

摘要： 需求背景: 在一个系统中直接查看任务运行的日志,所以想让放日志的目录能够直接以URL的方式访问.就用了apache 版本: 2.4.18 准备: http://apr.apache.org/download.cgi 下载apr-1.5.2.tar.gz、apr-util-1.5.4.tar.gz h 阅读全文

摘要： 想使用spark sql cli 直接读取hive中表来做分析的话只需要简答的几部设置就可以了1.拷贝hive-site.xml 至spark confcd /usr/local/hive/conf/hive-site.xml /usr/local/spark-1.5.1/conf/2.配置spar... 阅读全文

摘要： 一直以为spark区分几种集群的模式是由配置更改而改变.经过使用发现,区分这几种模式的在于启动命令时指定的master.现在保持我的配置文件不变.#公共配置export SCALA_HOME=/usr/local/scala/export JAVA_HOME=/usr/lib/jvm/java-1.... 阅读全文

摘要： 1.先查看有哪些文件可以删除,但是不真执行删除git rm -r -n job-executor-common/target/*-r递归移除目录-n加上这个参数，执行命令时，是不会删除任何文件，而是展示此命令要删除的文件列表预览，所以一般用这个参数先看看要删除哪些文件，防止误删，确认之后，就去掉此参... 阅读全文

摘要： 一　集群规划使用standalone 模式．18台机器，一台master,17台slave二　版本scala-2.11.7.tgzspark-1.4.1-bin-hadoop2.6.tgz三　安装默认hadoop已经安装完成，没有安装的看hadoop安装那篇3.1 安装scala$ cd /opt/... 阅读全文

摘要： 全篇主要依赖下面２篇文章http://quenlang.blog.51cto.com/4813803/1571635http://www.cnblogs.com/mchina/archive/2013/02/20/2883404.html#!comments一 资源下载ganglia-3.6.0.t... 阅读全文