代码改变世界

每日问题记录20171117

2017-11-17 18:11 by 轩脉刃, 11 阅读, 收藏, 编辑
正文内容加载中...

scala的Option

2017-11-16 14:41 by 轩脉刃, 14 阅读, 收藏, 编辑
摘要: 当一个函数既要返回对象,又要返回null的时候,使用Option[] http://www.runoob.com/scala/scala options.html Option是scala的选项,用来表示一个键是可选的(有值或者无值),比如判断一个map是否有值,可以直接使用get(xxx) ,返回阅读全文

每日问题记录20171114

2017-11-14 22:09 by 轩脉刃, 13 阅读, 收藏, 编辑
摘要: spark shell要打印一个string变量的全部怎么办? spark shell如果打印一个string变量,会阶段,需要使用println(xx)才能打印出全部的数值 =============== spark sql如何写入数据到hive中? 先创建一个List,然后使用List来创建Da阅读全文

java的Xmx是设置什么的?

2017-11-02 10:21 by 轩脉刃, 35 阅读, 收藏, 编辑
摘要: 我们使用java X可以看到java的 X系列的参数,Xmx和Xms是相对应的。一个是memory max(Xmx) 一个是memory start (Xms)。 Xmx代表程序最大可以从操作系统中获取的内存数量,Xms代表程序启动的时候从操作系统中获取的内存数量。 比如java cp . Xms8阅读全文

spark的sparkUI如何解读?

2017-11-01 07:44 by 轩脉刃, 194 阅读, 收藏, 编辑
摘要: spark的sparkUI如何解读? 以spark2.1.4来做例子 Job schedule mode 进入之后默认是进入spark job 页面 这个说明有很详细的解释,spark有两种操作算子:转换算子(transformation)和执行算子(Action)。当执行到行为算子的时候,就出发了阅读全文

工作随笔-20171024

2017-10-25 10:10 by 轩脉刃, 40 阅读, 收藏, 编辑
摘要: appName(s"Crossroadfree") 这个是个什么语法? 这个是字符串插值用法,从scala2.10.0版本开始,在s""的里面可以使用\$val来嵌入变量。 相类似的插值还有f 和raw https://docs.scala lang.org/zh cn/overviews/core阅读全文

如何升级laravel5.4到laravel5.5并使用新特性?

2017-10-23 23:50 by 轩脉刃, 452 阅读, 收藏, 编辑
摘要: 如何升级laravel5.4到laravel5.5并使用新特性? 修改composer.json: scripts增加: 执行composer update vvv 新特性1: 扩展包自动发现 为扩展包增加了一个自动发现功能。 以barryvdh/laravel debugbar为例,先删除这个包。阅读全文

value toDF is not a member of org.apache.spark.rdd.RDD

2017-10-23 23:03 by 轩脉刃, 79 阅读, 收藏, 编辑
摘要: idea显示toDF() 没有这个函数,显示错误: Error:(82, 8) value toDF is not a member of org.apache.spark.rdd.RDD[com.didichuxing.scala.BaseIndex] possible cause: maybe 阅读全文

spark能传递外部命名参数给main函数吗?

2017-10-23 23:02 by 轩脉刃, 54 阅读, 收藏, 编辑
摘要: 查了资料好像都没有办法。只能通过: 下标来获取。不过不确定,去stackoverflow发帖问下。 确实不能,如果要的话,就需要自己写代码来解析:阅读全文

spark在idea中本地如何运行?(处理问题NoSuchFieldException: SHUTDOWN_HOOK_PRIORITY)

2017-10-20 15:49 by 轩脉刃, 55 阅读, 收藏, 编辑
摘要: spark在idea中本地如何运行? 前几天尝试使用idea在本地运行spark+scala的程序,出现了问题,http://www.cnblogs.com/yjf512/p/7662105.html 当时还以为是本地spark安装问题,今天发现原来不是。记录如下: 现象 使用pom写了一个程序,发阅读全文