代码改变世界

spark能传递外部命名参数给main函数吗?

2017-10-23 23:02 by 轩脉刃, 1993 阅读, 收藏, 编辑
摘要: 查了资料好像都没有办法。只能通过: 下标来获取。不过不确定,去stackoverflow发帖问下。 确实不能,如果要的话,就需要自己写代码来解析:阅读全文

spark在idea中本地如何运行?(处理问题NoSuchFieldException: SHUTDOWN_HOOK_PRIORITY)

2017-10-20 15:49 by 轩脉刃, 821 阅读, 收藏, 编辑
摘要: spark在idea中本地如何运行? 前几天尝试使用idea在本地运行spark+scala的程序,出现了问题,http://www.cnblogs.com/yjf512/p/7662105.html 当时还以为是本地spark安装问题,今天发现原来不是。记录如下: 现象 使用pom写了一个程序,发阅读全文

工作随笔-20171012

2017-10-13 17:08 by 轩脉刃, 301 阅读, 收藏, 编辑
摘要: scala在idea中本地运行遇到问题: 查看这个帖子: https://forums.databricks.com/questions/2227/shutdown hook priority javalangnosuchfieldexceptio.html 貌似说的是运行在老版本的spark上 我阅读全文

maven使用实战

2017-08-31 14:14 by 轩脉刃, 485 阅读, 收藏, 编辑
摘要: maven使用实战 创建项目 在eclipse中创建maven项目之后,会生成.classpath / .setting / .project 三个文件或者文件夹 .classpath 这个文件是用来说明这个工程的项目环境的 比如 kind=src: 用来表示源文件地址 kind=con: 表示运行阅读全文

介绍maven构建的生命周期

2017-08-29 18:25 by 轩脉刃, 1372 阅读, 收藏, 编辑
摘要: 介绍maven构建的生命周期 这篇是 https://maven.apache.org/guides/introduction/introduction to the lifecycle.html 的译文。 构建生命周期的基础知识 构建的生命周期是maven的最核心概念。它的意思就是构建和发布某个特阅读全文

python中的pip

2017-08-24 12:12 by 轩脉刃, 860 阅读, 收藏, 编辑
摘要: python中的pip python有两个著名的包管理工具,其中,pip是一个。它对python的包进行管理和升级等操作。 问题一:pip本地的模块安装在哪里? 使用pip install numpy安装numpy,再安装一次,pip install numpy,就可以查看到本地的pip包安装地址了阅读全文

python中的None

2017-08-24 12:11 by 轩脉刃, 2264 阅读, 收藏, 编辑
摘要: python中的None python中的None就相较于Java中的Null。python中就没有所谓的NULL。网络上很多的时候说的“python的Null”这个说法本身就是不对的。 python中的None有自己的类型,是NoneType类型。 由于python是强类型语言,所以None不等于阅读全文

WeakHashMap

2017-08-22 19:22 by 轩脉刃, 113 阅读, 收藏, 编辑
摘要: WeakHashMap 今天在具体业务的时候看到HashMap和WeakHashMap的区别。因为PHP语言并没有这种概念。所以很好奇做了一下研究。 WeakHashMap WeakHashMap所谓的“弱”是针对GC来说的。换句话说,GC操作的时候,会不会自动去回收掉WeakHashMap中已经没阅读全文

函数式编程

2017-07-26 16:37 by 轩脉刃, 844 阅读, 收藏, 编辑
摘要: 函数式编程 函数式编程(Functional Programming)之前都只是听说过,没有使用过所谓的函数式编程思想。不大理解这个概念。最近弄python的时候遇到了这个概念。 函数式编程对应的是命令式编程(imperative programming)。我们平时写的程序大都属于这种编程方式:如果阅读全文

初识hadoop

2017-05-05 18:32 by 轩脉刃, 401 阅读, 收藏, 编辑
摘要: 初识hadoop 概念 hadoop首先是大数据领域。大数据领域至少是分布式的,分布式数据必然是有一定规模了。如果数据只有几个G或者更小就没有什么意义了。 hadoop最核心的概念就是HDFS和MapReduce。hadoop的源码在github上也有对应的开源:https://github.com阅读全文