shijing's blog

摘要： 这仅仅是一个测试，终于会用客户端写blog了。。。 阅读全文

摘要： 在需求中发现1.6中SparkLauncher获取到的Application状态问题。 阅读全文

摘要： 在Github fork完一个项目，上游项目有更新时，需要将该更新同步到自己的版本库。 阅读全文

摘要： maven依赖包不在中心库时，需要修改配置文件，从而从相应库中获得依赖包。 阅读全文

摘要： 【特别注意】Sqoop2里面各个版本的区别还是很大的，这里使用1.99.6版本。 sqoop2的url等信息放到properties配置文件中，配置文件解析出来传给SqoopClient报错。 SqoopClient初始化代码： private SqoopUtil() throws IOExcept 阅读全文

摘要： 有时用Spark 运行Job 的时候，输出可能会出现一些空或者小内容。这时重新将输出的Partition 进行重新调整，可以减少RDD中Patition的数目。 两种方式： 1. coalesce(numPartitions:Int, shuffle:Boolean = false) 2. repa 阅读全文

摘要： 看到一篇博客，总结了各种链表相关的问题，mark一下，感觉很不错~ 戳我：http://wuchong.me/blog/2014/03/25/interview-link-questions/《编程之美》中“金刚坐飞机”问题：《编程之美》中“瓷砖覆盖地板”问题的扩展问题：《编程之美... 阅读全文

摘要： 一、基本概念文件的三种状态：（任何一个文件在git中都有以下三种状态） 1） 已提交（committed）：表示该文件已经被安全地保存在本地数据库中了。 2） 已修改（modified）：表示修改了某个文件，但还没有提交保存。 3） 已暂存（staged）：表示把已修改的文件放在下... 阅读全文

摘要： * 本文主要介绍一些Linux Shell 常用的流程控制语句*1. if 条件语句：if…then/if…elif…fi/if… else…fiif [条件判断逻辑1];then command1elif [条件判断逻辑2];then command2else ... 阅读全文

摘要： shell 数组一般都是一维数组。1. 数组的声明declare -a arr该命令将声明一个数组arr，实际上不声明也可以直接定义数组。2. 数组的初始化arr=(1 2 3)：该命令定义了一个数组，可以不指明长度。元素之间用空格隔开。arr=([index1]=val1 [in... 阅读全文