摘要: 1 准备 系统环境 配置jdk8 配置spark 从http://spark.apache.org/downloads.html 下载最新版spark预编译包并解压。 2 spark shell sh $ spark shell master local[2] 2018 09 02 16:12:37阅读全文
posted @ 2018-09-02 18:30 畑鹿驚 阅读(35) 评论(0) 编辑
摘要: golang中panic的处理没有其他语言中try catch语法那么简单。 大部分例子的panic处理都是在退出环节。那么如何在正常业务流程中处理panic,然后不影响全局呢? go // 业务处理1,定义myStrcture isDone := make(chan int) go func() 阅读全文
posted @ 2018-08-24 21:42 畑鹿驚 阅读(151) 评论(0) 编辑
摘要: lxml是一个非常方便的解析工具,首先了解一下lxml在整个爬虫开发流程中的作用。 爬虫可简单可复杂,视爬虫对象、任务不同而不同。我们的目标是用最简单最有效的方法来快速获取想要的信息。 这里给出一个简单例子:爬取 "信用信息公示系统" 中,企业信息详情。 如下图所示: 1 实例 首先确定lxml规则阅读全文
posted @ 2018-05-06 15:36 畑鹿驚 阅读(32) 评论(0) 编辑
摘要: golang http://www.cnblogs.com/golove/p/3269099.html阅读全文
posted @ 2018-03-28 00:04 畑鹿驚 阅读(15) 评论(0) 编辑
摘要: 依赖项 http://unix.stackexchange.com/questions/291737/zipimport zipimporterror cant decompress data zlib not available 安装 注意make install完成后不应该出现Ignoring 阅读全文
posted @ 2018-03-21 00:02 畑鹿驚 阅读(321) 评论(0) 编辑
摘要: sed是以行为单位的文本处理工具,awk则以列为单位。 文件都是结构化的,都是有单词和空白字符组成的。 空白字符包括空格、tab以及连续的空格和tab。每个非空白部分叫做域, 表示 全部域, 表示第1个域等等…… 默认以空白字符为分隔符,打印前两列 指定其他分割符,打印前两列 内部变量NF表示每行有阅读全文
posted @ 2017-12-16 21:26 畑鹿驚 阅读(46) 评论(0) 编辑
摘要: 安装 docker加速器 https://cr.console.aliyun.com/ /accelerator sh sudo mkdir p /etc/docker sudo tee /etc/docker/daemon.json阅读全文
posted @ 2017-12-02 22:39 畑鹿驚 阅读(39) 评论(0) 编辑
摘要: JPA(Java Persistence API)是一个基于O/R映射(Object Relational Mapping)的标准规范,主要实现包括Hibernate、EclipseLink和OpenJPA等。 orm框架的本质是简化编程中操作数据库的编码[2],JPA 方便程序员不写sql语句,而阅读全文
posted @ 2017-12-02 22:35 畑鹿驚 阅读(119) 评论(0) 编辑
摘要: JavaScript是一门脚本语言,并不包含编译器,所以无法保证类型安全。 单元测试可以弥补编译器的缺乏,找出潜在的缺陷。 1 Jasmine测试框架 "Jasmine" 是一种测试框架,定义了测试用例的语法、API、如何编写断言等等。类似的产品还包括Mocha等。 或者直接用浏览器打开browse阅读全文
posted @ 2017-11-11 17:23 畑鹿驚 阅读(93) 评论(0) 编辑
摘要: 问题描述 输出报表的项目中有一个需求是把多级菜单输出到excel中。比如菜单“5”下面包含子菜单“1”和“2”。子菜单下面又有菜单。一共三级。 我们很容易把菜单数据直接输出,如图(a)所示。 合并冗余项之后如图(b)所示。 具体如何合并菜单呢? 已经有函数可以把给定区域序号之间的单元格合并。合并之后阅读全文
posted @ 2017-11-05 19:38 畑鹿驚 阅读(37) 评论(0) 编辑