摘要: 好东西不是随便收集下,发篇博文,骗些点赞的!积累了5年多的东西,是时候放出来跟大家见见面了。 或许有的园友在14年的时候收藏过我的一篇“工欲善其事、必先利其器”的博文,时隔3年,已经做了N多更新,那篇文章也已被我删除,迁移至GitHub,重新进行管理。 这篇文章,大家可以推荐、收藏,让更多的人在园内阅读全文
posted @ 2017-02-09 09:22 StanZhai 阅读(20217) 评论(79) 编辑
摘要: 为什么要做正文提取一般做舆情分析,都会涉及到网页正文内容提取。对于分析而言,有价值的信息是正文部分,大多数情况下,为了便于分析,需要将网页中和正文不相干的部分给剔除。可以说正文提取的好坏,直接影响了分析结果的好坏。对于特定的网站,我们可以分析其html结构,根据其结构来获取正文信息。先看一下下面这张...阅读全文
posted @ 2014-01-07 07:11 StanZhai 阅读(33731) 评论(87) 编辑
摘要: 随着企业内部业务系统越来越多,基于JVM的服务,通常情况线上环境可能会有多套JDK跑不同的服务。大家都知道基于高版本的Java规范编写的服务跑在低版本的JVM上会出现: 的异常。 Spark 2.2开始移除了对Java 7的支持,大多数情况下,我们的Spark Application是和Hadoop阅读全文
posted @ 2017-11-29 08:09 StanZhai 阅读(4228) 评论(1) 编辑
摘要: 原创文章,转载请保留出处 最近刚刚忙完Spark 2.2.0的性能测试及Bug修复,社区又要发布2.1.2了,国庆期间刚好有空,过了一遍2.1.2的相关 "JIRA" ,发现有不少重要修复2.2.0也能用上,接下来需要将有用的PR合到我们内部维护的2.2.0分支上了。 经常有朋友问我是怎么把社区的P阅读全文
posted @ 2017-10-13 12:05 StanZhai 阅读(600) 评论(2) 编辑
摘要: 原创文章,谢绝转载 Spark 2.x自2.0.0发布到目前的2.2.0已经有一年多的时间了,2.x宣称有诸多的性能改进,相信不少使用Spark的同学还停留在1.6.x或者更低的版本上,没有升级到2.x或许是由于1.6相对而言很稳定,或许是升级后处处踩坑被迫放弃。 Spark SQL是Spark中最阅读全文
posted @ 2017-09-11 08:20 StanZhai 阅读(1019) 评论(2) 编辑
摘要: 原创文章,谢绝转载 笔者出于工作及学习的目的,经常与Spark源码打交道,也难免对Spark源码做修改及测试。本人一向讲究借助工具提升效率,开发Spark过程中也在摸索如何更加顺畅的对源码进行调试。 Spark基于Scala,采用IntelliJ IDEA和sbt应对日常开发,自然是最佳选择了。如何阅读全文
posted @ 2017-05-15 08:48 StanZhai 阅读(2340) 评论(0) 编辑
摘要: 让代码分布式运行是所有分布式计算框架需要解决的最基本的问题。 Spark是大数据领域中相当火热的计算框架,在大数据分析领域有一统江湖的趋势,网上对于Spark源码分析的文章有很多,但是介绍Spark如何处理代码分布式执行问题的资料少之又少,这也是我撰写文本的目的。 Spark运行在JVM之上,任务的阅读全文
posted @ 2017-03-15 09:37 StanZhai 阅读(7601) 评论(0) 编辑
摘要: 最近运维同学为了提高安全性,用Google Authenticator对服务器加了双重认证,此后登录服务器需要先输入动态密码,在输入服务器密码。Google Authenticator相当于软token,对他不了解的同学可以看下这篇文章: "谷歌验证 (Google Authenticator) 的阅读全文
posted @ 2017-03-06 08:55 StanZhai 阅读(2213) 评论(0) 编辑
摘要: 前言 在国内编译Spark项目需要从Maven源下载很多依赖包,官方源在国内大环境下的下载速度大家都懂得,那个煎熬啊,简直是浪费生命。 如果你的下载速度很快,你现在就可以无视这篇文章了。 阿里云给国内开发者提供了一个非常的良心的服务:提供了一个国内Maven镜像,可以让我们拜托这种煎熬。 地址信息 阅读全文
posted @ 2017-02-17 08:22 StanZhai 阅读(3133) 评论(3) 编辑
摘要: 前言 最近为了解决Spark2.1的Bug,对Spark的源码做了不少修改,需要对修改的代码做编译测试,如果编译整个Spark项目快的话,也得半小时左右,所以基本上是改了哪个子项目就单独对那个项目编译打包。 Spark官方已经给出了如何使用mvn单独编译子项目的方法: 使用mvn单独编译子项目是节约阅读全文
posted @ 2017-02-15 18:26 StanZhai 阅读(1311) 评论(0) 编辑
摘要: 好东西不是随便收集下,发篇博文,骗些点赞的!积累了5年多的东西,是时候放出来跟大家见见面了。 或许有的园友在14年的时候收藏过我的一篇“工欲善其事、必先利其器”的博文,时隔3年,已经做了N多更新,那篇文章也已被我删除,迁移至GitHub,重新进行管理。 这篇文章,大家可以推荐、收藏,让更多的人在园内阅读全文
posted @ 2017-02-09 09:22 StanZhai 阅读(20217) 评论(79) 编辑
摘要: SparkSQL从2.0开始已经不再支持 这种语法了(下文简称add columns语法)。如果你的Spark项目中用到了SparkSQL+Hive这种模式,从Spark1.x升级到2.x很有可能遇到这个问题。 为了解决这个问题,我们一般有3种方案可以选择: 1. 启动一个hiveserver2服务阅读全文
posted @ 2017-01-16 09:02 StanZhai 阅读(3661) 评论(0) 编辑