会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
骑小象去远方
博客园
首页
新随笔
联系
管理
订阅
2017年3月21日
spark Task not serializable
摘要: Job aborted due to stage failure: Task not serializable: If you see this error: The above error can be triggered when you intialize a variable on the
阅读全文
posted @ 2017-03-21 16:43 骑小象去远方
阅读(3524)
评论(0)
推荐(0)
2016年6月24日
hive 数据库迁移记录
摘要: 服务器更换,需要把hive使用的mysql库迁移到其他服务器上. 整个过程很简单,就是数据库导出导入 1.在原服务器将数据库导出 2.在目标服务器上新建数据库,用户,权限设置 3.复制数据库文件到目标服务器 4.目标服务器上,把数据库文件导入数据库 到sql存放目录,进入数据库 5.如果hive中配
阅读全文
posted @ 2016-06-24 15:30 骑小象去远方
阅读(1412)
评论(0)
推荐(0)
2016年3月29日
[spark] 序列化错误 object not serializable
摘要: 在spark 1.4 jobserver 0.5 环境执行的时候,程序并没有出错. 在spark1.5 jobserver0.6 环境执行的时候出了上面的错误 所以肯定跟环境是有关系的.在spark-defaults.conf中设置serializer 为 org.apache.spark.seri
阅读全文
posted @ 2016-03-29 15:36 骑小象去远方
阅读(5058)
评论(0)
推荐(0)
could only be replicated to 0 nodes instead of minReplication (=1)
摘要: 今天在用程序通过hdfs拷贝数据至hadoop上的时候报了这个错误 当看到这个错误,以为可能是下面几个原因 1. datanode 挂了 2. datanode 没有空间了 3. datanode 与namenode或者客户端机的连接有问题 但是看了一下,没有这些问题. 接着在集群的客户端机上,通过
阅读全文
posted @ 2016-03-29 15:24 骑小象去远方
阅读(2664)
评论(0)
推荐(0)
2016年2月2日
apache 安装使用
摘要: 需求背景: 在一个系统中直接查看任务运行的日志,所以想让放日志的目录能够直接以URL的方式访问.就用了apache 版本: 2.4.18 准备: http://apr.apache.org/download.cgi 下载apr-1.5.2.tar.gz、apr-util-1.5.4.tar.gz h
阅读全文
posted @ 2016-02-02 12:24 骑小象去远方
阅读(229)
评论(0)
推荐(0)
2015年12月28日
spark sql cli 配置使用
摘要: 想使用spark sql cli 直接读取hive中表来做分析的话只需要简答的几部设置就可以了1.拷贝hive-site.xml 至spark confcd /usr/local/hive/conf/hive-site.xml /usr/local/spark-1.5.1/conf/2.配置spar...
阅读全文
posted @ 2015-12-28 15:05 骑小象去远方
阅读(1465)
评论(0)
推荐(1)
2015年12月25日
spark的部署方式
摘要: 一直以为spark区分几种集群的模式是由配置更改而改变.经过使用发现,区分这几种模式的在于启动命令时指定的master.现在保持我的配置文件不变.#公共配置export SCALA_HOME=/usr/local/scala/export JAVA_HOME=/usr/lib/jvm/java-1....
阅读全文
posted @ 2015-12-25 11:53 骑小象去远方
阅读(686)
评论(0)
推荐(0)
2015年12月14日
删除git上已经提交的文件
摘要: 1.先查看有哪些文件可以删除,但是不真执行删除git rm -r -n job-executor-common/target/*-r递归移除目录-n加上这个参数,执行命令时,是不会删除任何文件,而是展示此命令要删除的文件列表预览,所以一般用这个参数先看看要删除哪些文件,防止误删,确认之后,就去掉此参...
阅读全文
posted @ 2015-12-14 20:00 骑小象去远方
阅读(7667)
评论(0)
推荐(1)
2015年9月22日
spark安装
摘要: 一 集群规划使用standalone 模式.18台机器,一台master,17台slave二 版本scala-2.11.7.tgzspark-1.4.1-bin-hadoop2.6.tgz三 安装默认hadoop已经安装完成,没有安装的看hadoop安装那篇3.1 安装scala$ cd /opt/...
阅读全文
posted @ 2015-09-22 12:06 骑小象去远方
阅读(3471)
评论(0)
推荐(0)
2015年9月15日
Ganglia+nagios 监控hadoop资源与报警
摘要: 全篇主要依赖下面2篇文章http://quenlang.blog.51cto.com/4813803/1571635http://www.cnblogs.com/mchina/archive/2013/02/20/2883404.html#!comments一 资源下载ganglia-3.6.0.t...
阅读全文
posted @ 2015-09-15 10:28 骑小象去远方
阅读(1777)
评论(0)
推荐(0)
下一页
公告