随笔分类 -  学习笔记

编译过程遇到的坑
摘要：最近在编译Spark，在编译的过程中总是不能一帆风顺，不知这个我的个例还是大家都遇到的情况。本文档记录在编译过程中遇到的所有问题以及解决方法。 Spark编译--版本为spark2.2.2 1. 如何编译Spark tgz包。编译出的包和spark下载界面（https://spark.apache. 阅读全文
posted @ 2018-08-12 16:30 nurseryboy 阅读(191) 评论(0) 推荐(0)
mvn 编译报错mavn sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested targ
摘要：mavn 编译报错： mavn sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unab 阅读全文
posted @ 2017-09-23 11:44 nurseryboy 阅读(4067) 评论(0) 推荐(0)
图片
摘要： 阅读全文
posted @ 2017-04-18 10:39 nurseryboy
[ERROR] error: error while loading <root>, error in opening zip file error: scala.reflect.internal.MissingRequirementError: object scala.runtime in compiler mirror not found.
摘要：在家编译一个Apache的开源项目，在编译时遇到错误如下： error: error while loading <root>, error in opening zip file [ERROR] error: error while loading <root>, error in opening 阅读全文
posted @ 2016-12-10 15:51 nurseryboy 阅读(5298) 评论(0) 推荐(1)
Git Fork别人的代码后如同步别人的代码
摘要：在git上fork别人的代码后，如果别人代码有更新，自己fork的代码是不能自动更新的。需要手动操作。 git remote -v 查看是否有远程分支的别名。例如：git remote -v 后显示如下，只有自己fork的路径。需要手动添加。 origin https://github.com/bi 阅读全文
posted @ 2016-09-15 00:08 nurseryboy 阅读(2502) 评论(0) 推荐(0)
Spark tungsten 项目阅读笔记
摘要：Spark tungsten 项目阅读笔记 Spark tungsten 项目的宣言就是：Bringing Apache Spark closer Bare Metal。 我的理解就是不要让硬件成为Spark性能的瓶颈，无限充分利用硬件资源（CPU，内存，IO，网络）。 tungsten主要有3大动 阅读全文
posted @ 2016-07-11 23:53 nurseryboy 阅读(1239) 评论(0) 推荐(0)