摘要: 在前面的 "Spark发展历程和基本概念" 中介绍了Spark的一些基本概念,熟悉了这些基本概念对于集群的搭建是很有必要的。我们可以了解到每个参数配置的作用是什么。这里将详细介绍Spark集群搭建以及xml参数配置。Spark的集群搭建分为分布式与伪分布式,分布式主要是与hadoop Yarn集群配阅读全文
posted @ 2017-07-26 08:55 NextNight 阅读(293) 评论(0) 编辑
摘要: Hadoop十年 找了一张Hadoop十年的生态发展图: Spark概况: Apache Spark 是一个 "开源" 簇运算框架,最初是由加州大学柏克莱分校AMPLab所开发。相对于 "Hadoop" 的 "MapReduce" 会在运行完工作后将中介数据存放到磁盘中,Spark使用了内存内运算技阅读全文
posted @ 2017-07-25 22:05 NextNight 阅读(54) 评论(0) 编辑
摘要: 1、关于收益率 假如你有100万,收益100%后资产达到200万,如果接下来亏损50%,则资产回到100万,显然亏损50%比赚取100%要容易得多; 2、关于涨跌停 假如你有100万,第一天涨停板后资产达到110万,然后第二天跌停,则资产剩余99 万;反之第一天跌停,第二天涨停,资产还是99万元; 阅读全文
posted @ 2017-07-14 19:58 NextNight 阅读(49) 评论(0) 编辑
摘要: 一、Numpy简介: Python中用列表(list)保存一组值,可以用来当作数组使用,不过由于列表的元素可以是任何对象,因此列表中所保存的是对象的指针。这样为了保存一个简单的[1,2,3],需要有3个指针和三个整数对象。对于数值运算来说这种结构显然比较浪费内存和CPU计算时间。此外Python还提阅读全文
posted @ 2017-06-14 23:40 NextNight 阅读(318) 评论(0) 编辑
摘要: Java集合框架是非常普遍使用,也是非常重要的部分,同时也是很基础的部分,熟练掌握很重要,它对于数据的操作提供了良好的接口,下面将从整个集合框架的体系介绍重要的集合框架类,使用方法,以及内部原理。 一、简介: 1、集合框架分两大类(接口): Collection:存储单个数据或者对象。 |-List阅读全文
posted @ 2017-06-13 12:36 NextNight 阅读(1360) 评论(2) 编辑
摘要: Lucene 是 Apache 软件基金会的一个开放源代码的全文检索引擎工具包,是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎。Lucene 的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。阅读全文
posted @ 2017-06-12 13:17 NextNight 阅读(449) 评论(2) 编辑
摘要: fscrawler是ES的一个文件导入插件,只需要简单的配置就可以实现将本地文件系统的文件导入到ES中进行检索,同时支持丰富的文件格式(txt.pdf,html,word...)等等。下面详细介绍下fscrawler是如何工作和配置的。 一、fscrawler的简单使用: 1、下载: wget ht阅读全文
posted @ 2017-05-25 16:57 NextNight 阅读(517) 评论(0) 编辑
摘要: 前面介绍了ES,Kibana5.3.1的安装配置,以及IK分词的安装和同义词设置,这里主要记录Logstash导入mysql数据到Elasticsearch5.3.1并设置IK分词和同义词。由于logstash配置好JDBC,ES连接之后运行脚本一站式创建index,mapping,导入数据。但是如果我们要配置IK分词器就需要修改创建index,mapping的配置,下面详细介绍logstash的Template模板配置。阅读全文
posted @ 2017-05-23 18:06 NextNight 阅读(2172) 评论(7) 编辑
摘要: 不压缩方式压缩的文件需要不同的命令来解压缩,下面是Linux的各种文件解压命令。 对于.tar结尾的文件: tar -xf 对于.gz结尾的文件 : gzip -d all.gz gunzip all.gz 对于.tgz或.tar.gz结尾的文件 : tar -xzf all.tar.gz tar 阅读全文
posted @ 2017-05-16 18:08 NextNight 阅读(40) 评论(0) 编辑
摘要: 本文主要是记录Elasticsearch5.3.1 IK分词,同义词/联想搜索设置,本来是要写fscrawler的多种格式(html,pdf,word...)数据导入的,但是IK分词和同义词配置还是折腾了两天,没有很详细的内容,这里决定还是记录下来。IK Analyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始, IKAnalyzer已经推出了3个大版本。最初,它是以开源项目Luence为应用主体的,结合词典分词和文法分析算法的中文分词组件。新版本的IK Analyzer 3.0则发展为面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现。所以IK跟ES本来是天生一对,当然是对于阅读全文
posted @ 2017-05-15 23:55 NextNight 阅读(2918) 评论(11) 编辑
摘要: 前言:上篇[大数据]-Elasticsearch5.3.1+Kibana5.3.1从单机到分布式的安装与使用<1>中介绍了ES ,Kibana的单机到分布式的安装,这里主要是介绍Elasticsearch5.3.1的一些概念。官方示例的基本数据导入,数据查询以及ES,kibana的功能组件的认识和熟阅读全文
posted @ 2017-05-09 18:07 NextNight 阅读(853) 评论(0) 编辑
摘要: 一、Elasticsearch,Kibana简介: Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域, Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 Elasticsearch也使用Java开发并使用Lucen阅读全文
posted @ 2017-05-09 11:16 NextNight 阅读(2072) 评论(0) 编辑
摘要: 一、Java SE 8 Java SE 8发行于2014年3月18日,代号culture,这是一个在Java历史上的重大发布 Java SE 8 新特性: Lambda Expressions(Lambda表达式) Pipelines and Streams(管道和流) Date and Time 阅读全文
posted @ 2017-05-03 18:31 NextNight 阅读(836) 评论(0) 编辑
摘要: 前言:此文又臭又长,废话连篇。某段言论激进,但绝无偏见。兄弟伙伴们看过且一笑置之。 人总是会变得,人也是最善变的动物。而我们要坚定的去努力不变成曾经厌恶的人! 那些年我们书生意气,伴着朗朗的读书声。‘“大江东去浪淘尽,千古风流人物...”,"...惜秦皇汉武,略输文采,唐宗宋祖,稍逊风骚...",仿阅读全文
posted @ 2017-05-03 15:48 NextNight 阅读(1120) 评论(28) 编辑
摘要: 一、前期准备工作: 1.安装包的准备: VMware(10.0版本以上) : 官方网站:https://www.vmware.com/cn.html 官方下载地址:http://www.vmware.com/products/player/playerpro-evaluation.html 10.0阅读全文
posted @ 2017-04-24 20:29 NextNight 阅读(6205) 评论(0) 编辑