09 2015 档案

Spark Streaming的容错和数据无丢失机制
摘要：背景 Write Ahead Logs Write Ahead Logs 配置 实现细节 下面讲解下WAL的工作原理。过一下Spark Streaming的架构 当一个Spark Streaming应用启动了(例如driver启动), 相应的StreamingContext使用SparkContet 阅读全文
posted @ 2015-09-29 19:34 高兴的博客 阅读(7297) 评论(0) 推荐(1)
spark 1.5的hivecontext的问题
摘要：spark升级到1.5，里面的hive版本升级到1.2.1版本,我写了如下的代码 当依赖的版本是1.5时候，hivecontext不会加载resources里面的hive-site.xml ,我试验了下实例化hiveconf 可以加载。 当依赖的版本是1.4.1的时候，这个时候hivecontext 阅读全文
posted @ 2015-09-24 11:50 高兴的博客 阅读(486) 评论(0) 推荐(0)
Spark的广播变量模块
摘要：有人问我，如果让我设计广播变量该怎么设计，我想了想说，为啥不用zookeeper呢？ 对啊，为啥不用zookeeper，也许spark的最初设计哲学就是尽量不使用别的组件，他有自己分布式内存文件系统，有自己的任务调度（standalone),有自己的sql解析。好吧这也是我喜欢他的地方，一栈式解决方 阅读全文
posted @ 2015-09-14 11:31 高兴的博客 阅读(287) 评论(0) 推荐(0)
Spark的Rpct模块的学习
摘要：Spark的Rpc模块是1.x重构出来可，以前的代码中大量使用了akka的类，为了把akka从项目的依赖中移除，所有添加了该模块。先看下该模块的几个主要的类 使用EA把该模块所有的类都添加进来了 要看懂该模块还是要先了解akka, akka有Actor和ActorRef两个类，一个用于接收消息，一个 阅读全文
posted @ 2015-09-14 00:05 高兴的博客 阅读(4002) 评论(0) 推荐(0)
转/keystore和truststore的区别
摘要：keytool是java自带的工具用于产生密钥 keystore可以看成一个放key的库，key就是公钥，私钥，数字签名等组成的一个信息。 truststore是放信任的证书的一个store. 那他们之间有啥关系和联系呢？在一个安全链接的模型中又各自起到什么作用呢？ 其实我也没搞太清楚-_-b 我先 阅读全文
posted @ 2015-09-13 18:24 高兴的博客 阅读(10459) 评论(0) 推荐(0)
使用IDEA编译spark 1.5并运行example的代码
摘要：操作系统：windows 10 IDEA ： IDEA 14.1.4 1：使用IDEA导入spark 1.5的源码，注意maven配置为自动导入 2：在maven窗口下的profiles中勾选hadoop, hive ,hive-thriftserver,yarn的选项。 3： 在maven窗口下勾 阅读全文
posted @ 2015-09-12 22:03 高兴的博客 阅读(1697) 评论(0) 推荐(0)
virtualbox复制虚拟机网络问题
摘要：virtulbox复制虚拟机由于mac地址问题会导致网卡不可以用 1：修改mac地址 需要在virtualbox修改虚拟机网络选项卡下面的mac地址 2：修改ifcfg-eth0 把HWADDR的值设置为上面的值 3：删除/etc/udev/rules.d/70-persistent-net.rul 阅读全文
posted @ 2015-09-12 15:24 高兴的博客 阅读(403) 评论(0) 推荐(0)
kafka的producer执行卡住的问题
摘要：使用windows开发producer然后向远程的kakfa集群发送数据，但是一直卡着, 在window的hosts文件添加kafka集群的主机名和ip的映射就好了 网上搜了下，大致是producer需要获取zookeeper的位置。 阅读全文
posted @ 2015-09-11 16:48 高兴的博客 阅读(2716) 评论(0) 推荐(0)