随笔分类 -  Spark/Kafka

spark sql 查看 orc(内部使用)
该文被密码保护。
posted @ 2016-07-22 16:50 lasclocker
Kafka 安装配置 及 简单实验记录
摘要：1. 下载二进制文件并解压，并修改 broker.id 的值 2. 开启zookeeper server 和 kafka server 3. 创建一个topic 然后 查看创建的topic，之后不需要重复创建 4. 发送一些message 5. 启动一个consumer 阅读全文
posted @ 2016-07-20 17:44 lasclocker 阅读(283) 评论(0) 推荐(0)
sbt assembly a fat jar for spark-submit cluster model
摘要：在用spark-submit提交作业时，用sbt package打包好的jar程序，可以很好的运行在client模式，当在cluster模式，一直报错：Exception in thread "main" java.lang.ClassNotFoundException。决定利用sbt assemb... 阅读全文
posted @ 2015-08-10 17:42 lasclocker 阅读(1022) 评论(0) 推荐(0)