数据驱动

摘要： 项目版本 构建需要： JDK1.7 Elasticsearch2.2.1 junit4.10 log4j1.2.17 spring-context3.2.0.RELEASE spring-core3.2.0.RELEASE spring-beans3.2.0.RELEASE spring-web3. 阅读全文

摘要： Elasticsearch是谁不重要，重要的是咱们都知道百度，谷歌这样的搜索巨头吧。它们的核心技术都利用了Elasticsearch，所以我们有必要对Elasticsearch了解下！ 1.Elasticsearch简介 1.1 百度百科这样说 Elasticsearch是一个基于Lucense的搜 阅读全文

摘要： 第一节 初识 Flink 在数据激增的时代，催生出了一批计算框架。最早期比较流行的有MapReduce，然后有Spark，直到现在越来越多的公司采用Flink处理。Flink相对前两个框架真正做到了高吞吐，低延迟，高性能。 1. Flink 是什么？ 1) Flink 的发展历史 在 2010 年至 阅读全文

摘要： 在使用flink run命令提交任务可能会遇到如下错误： The program finished with the following exception: org.apache.flink.client.program.ProgramInvocationException: The main m 阅读全文

摘要： 由于Kylin官网已经是中文的了，而且写的很详细，这里就不再重述。 学习右转即可。 这里说个遇到的问题，当在Kylin使用SQL关键字时，要加上双引号，并且里面的内容要大写，这个和MySql有点区别需要注意下。 系列传送门 阅读全文

摘要： 一.Kylin是什么？ Apache Kylin是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 上的SQL查询接口及多维度分析(OLAP）能力以支持超大规模的数据，最初由eBay开发并贡献至开源社区。它能在亚秒内查询巨大的表。 Apache Kylin™ 令使用者仅需三步，即可实 阅读全文

摘要： 一、项目简介 这是一个道路拥堵情况分析预测项目。 它利用Kafka提供数据，Redis存储结果，然后用逻辑回归进行模型训练，最后根据训练的模型预测道路未来是否拥堵。 二、项目结构 ├─.idea │ └─codeStyles ├─data └─src └─main └─scala └─vip └─s 阅读全文

摘要： 前言 随着人工智能的发展，机器学习成为一个热门的学科。机器学习说白了就是利用一些数学知识，通过代码实现分类，聚类，特征提取和回归。这些所谓的实现也叫算法。 大部分算法已经有人帮我们写好了类库，我们只需要调用即可实现。 常用的实现类库有两个：一个是SparkMLlib，一个是Scikit-lean。 阅读全文

摘要： 一.前言 前面我们学习的是使用Scala和Java开发Spark。最近补充了下Python基础，那么就用Python开发下Spark。Python开发Spark简称PySpark。 二.环境准备 1.安装Python环境 安装方式有两种 使用原生方式安装 直接去官网下载，window下载 xxx_e 阅读全文

摘要： 今天小编用Python编写Spark程序报了如下异常： py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.: jav 阅读全文