摘要： 概序： 要减少内存的消耗，除了使用高效的序列化类库以外，还有一个很重要的事情，就是优化数据结构。从而避免Java语法特性中所导致的额外内存的开销，比如基于指针的Java数据结构，以及包装类型。 有一个关键的问题，就是优化什么数据结构？其实主要就是优化你的算子函数，内部使用到的局部数据，或者是算子函数 阅读全文

摘要： 概叙： 在任何分布式系统中，序列化都是扮演着一个重要的角色的。如果使用的序列化技术，在执行序列化操作的时候很慢，或者是序列化后的数据还是很大，那么会让分布式应用程序的性能下降很多。所以，进行Spark性能优化的第一步，就是进行序列化的性能优化。 Spark自身默认就会在一些地方对数据进行序列化，比如 阅读全文

摘要： boradcast例子代码： scala版本 spark共享变量之Accumulator 例子代码： scala版本 阅读全文

摘要： 今天写spark例子用到maven,但是自己maven又不熟悉。遇到错误找了半天知道是（sevlet-api2.5 3.0）包冲突需要解决包之间依赖问题却不知道怎么下手。但是最终慢慢了解还是找到新手的解决办法。 1 首先cmd到eclipse目录下执行mvn dependency:tree找出mav 阅读全文

摘要： 1.确认config里面的server.properties 正确（包括IP+端口2181记得看清,用hostname的话记得etc/hostnames下面查看全部配置上没,建议用hostname方便以后维护也减少错误） 2.服务器之间时间要统一 时间同步可以查下linux服务器时间同步很多（ntp 阅读全文

摘要： Question： 在使用ntpdate同步时间时，出现了no server suitable for synchronization found的报错。 通过ntpdate -d s2m.time.edu.cn 使用debug模式没有出现异常。 Answer： 解决办法是，使用ntpdate -u 阅读全文

摘要： 1）卸载系统自带的jdk版本： 查看自带的jdk： #rpm -qa|grep gcj 可能看到如下类似的信息： libgcj-4.1.2-44.el5 java-1.4.2-gcj-compat-1.4.2.0-40jpp.115 使用rpm -e --nodeps 命令删除上面查找的内容： #r 阅读全文

摘要： ssh-keygen -t rsa 全部回车 生成密钥默认放在了/root/.shh中 打开它 cd /root/.ssh cp id_rsa.pub authorized_keys 免密码登录 现在只是本机免密码，接下来要集群之间免密码 ssh-copy-id -i spark2（机器hostna 阅读全文

摘要： 阅读全文

摘要： 隐式转换 使用隐式转换加强现有的类型的功能-类似于设计模式的装饰模式 阅读全文