黑泽君 - 博客园

2019年5月6日

大数据技术之_20_Elasticsearch学习_02_ELK 简介以及新旧版架构介绍

摘要： 1. ELK 简单介绍2. ELK 的用途3. ELK 的优点4. ELK 旧版架构5. ELK 新版架构6. 新版 ELK 架构介绍 1. ELK 简单介绍 ELK 是 elastic(美国数据搜索软件初创公司) 公司提供的一套完整的日志收集、日志搜索分析、展示解决方案，是三个产品的首字母缩写。这阅读全文

posted @ 2019-05-06 00:50 黑泽君阅读(718) 评论(0) 推荐(0) 编辑

大数据技术之_20_Elasticsearch学习_01_概述 + 快速入门 + Java API 操作 + 创建、删除索引 + 新建、搜索、更新删除文档 + 条件查询 + 映射操作

摘要：一概述1.1 什么是搜索？1.2 如果用数据库做搜索会怎么样？1.3 什么是全文检索和 Lucene？1.4 什么是 Elasticsearch？1.5 Elasticsearch 的适用场景1.6 Elasticsearch 的特点1.7 Elasticsearch 的核心概念1.7.1 近实时阅读全文

posted @ 2019-05-06 00:42 黑泽君阅读(585) 评论(0) 推荐(0) 编辑

2019年5月5日

大数据技术之_19_Spark学习_08_Spark 机器学习_02_凸优化算法 + 线性回归算法 + FPGrowth 关联规则算法 + 决策树 + 随机森林算法

摘要：第4章凸优化算法4.1 梯度下降4.2 牛顿法4.3 拟牛顿法4.4 BFGS 算法第5章 L1、L2 正则化5.1 从经验风险最小化到结构经验最小化5.2 范数与正则项5.3 贝叶斯先验第6章线性回归算法6.1 数学模型6.2 线性回归的应用6.2 Spark MLlib 实现第7章 FPGr 阅读全文

posted @ 2019-05-05 10:55 黑泽君阅读(672) 评论(0) 推荐(0) 编辑

2019年5月4日

大数据技术之_19_Spark学习_08_Spark 机器学习_01_机器学习概述 + 机器学习的相关概念 + 算法常用指标

摘要：第1章机器学习概述1.1 机器学习是啥？1.2 机器学习能干啥？1.3 机器学习有啥？1.4 机器学习怎么用？第2章机器学习的相关概念2.1 数据集2.2 泛化能力2.3 过拟合和欠拟合2.4 维度、特征2.5 模型2.6 学习第3章算法常用指标3.1 精确率和召回率3.2 TPR、FPR & 阅读全文

posted @ 2019-05-04 16:40 黑泽君阅读(433) 评论(0) 推荐(1) 编辑

大数据技术之_19_Spark学习_07_Spark 性能调优小结

摘要： Spark 的监控方式 1、Spark Web UI Spark 内置应用运行监控工具（提供了应用运行层面的主要信息--重要）2、Ganglia 分析集群的使用状况和资源瓶颈（提供了集群的使用状况--资源瓶颈--重要）3、Nmon 主机 CPU、网络、磁盘、内存（提供了单机信息）4、Jmeter 系阅读全文

posted @ 2019-05-04 12:10 黑泽君阅读(341) 评论(0) 推荐(0) 编辑

大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例

摘要：第1章 Spark 性能优化1.1 调优基本原则1.1.1 基本概念和原则1.1.2 性能监控方式1.1.3 调优要点1.2 数据倾斜优化1.2.1 为何要处理数据倾斜（Data Skew）1.2.2 如何定位导致数据倾斜的代码1.2.3 如何缓解/消除数据倾斜1.3 运行资源调优1.3.1 运行资阅读全文

posted @ 2019-05-04 11:57 黑泽君阅读(1507) 评论(0) 推荐(1) 编辑

2019年5月2日

大数据技术之_19_Spark学习_06_Spark 源码解析小结

摘要： Spark 通信架构 1、spark 一开始使用 akka 作为网络通信框架，spark 2.X 版本以后完全抛弃 akka，而使用 netty 作为新的网络通信框架。最主要原因：spark 对 akka 没有维护，需要 akka 更新，spark 的发展受到了 akka 的牵制，akka 版本之间阅读全文

posted @ 2019-05-02 21:00 黑泽君阅读(429) 评论(0) 推荐(0) 编辑

大数据技术之_19_Spark学习_06_Spark 源码解析 + Spark 通信架构、脚本解析、standalone 模式启动、提交流程 + Spark Shuffle 过程 + Spark 内存管理与分配 + Spark 部署模式

摘要：第1章 Spark 整体概述1.1 整体概念1.2 RDD 抽象1.3 计算抽象1.4 集群模式1.5 RPC 网络通信抽象1.6 启动 Standalone 集群1.7 核心组件1.8 核心组件交互流程1.9 Block 管理1.10整体应用第2章 Spark 通信架构2.1 通信组件概览2.2 阅读全文

posted @ 2019-05-02 20:12 黑泽君阅读(1622) 评论(0) 推荐(4) 编辑

2019年4月30日

大数据技术之_19_Spark学习_05_Spark GraphX 应用解析小结

摘要： Spark GraphX 概述 1、Spark GraphX是什么？（1）Spark GraphX 是 Spark 的一个模块，主要用于进行以图为核心的计算还有分布式图的计算。（2）GraphX 他的底层计算也是 RDD 计算，它和 RDD 共用一种存储形态，在展示形态上可以以数据集来表示，也可阅读全文

posted @ 2019-04-30 19:48 黑泽君阅读(1489) 评论(0) 推荐(0) 编辑

大数据技术之_19_Spark学习_05_Spark GraphX 应用解析 + Spark GraphX 概述、解析 + 计算模式 + Pregel API + 图算法参考代码 + PageRank 实例

摘要：第1章 Spark GraphX 概述1.1 什么是 Spark GraphX1.2 弹性分布式属性图1.3 运行图计算程序第2章 Spark GraphX 解析2.1 存储模式2.1.1 图存储模式2.1.2 GraphX 存储模式2.2 vertices、edges 以及 triplets2.2 阅读全文

posted @ 2019-04-30 19:25 黑泽君阅读(2015) 评论(0) 推荐(0) 编辑

Bruce