共26页: 上一页 1 2 3 4 5 6 7 8 9 下一页 末页 
摘要: 有监督学习--简单线性回归模型(梯度下降法代码实现)0.引入依赖1.导入数据(data.csv)2.定义损失函数3.定义模型的超参数4.定义核心梯度下降模型函数5.测试:运行梯度下降算法,计算最优的 w 和 b6.画出拟合曲线7.附录-测试数据 有监督学习--简单线性回归模型(梯度下降法代码实现) 阅读全文
posted @ 2019-05-18 08:14 黑泽君 阅读(60) 评论(0) 编辑
摘要: 有监督学习--简单线性回归模型(最小二乘法代码实现)0.引入依赖1.导入数据(data.csv)2.定义损失函数3.定义模型拟合函数4.测试:运行最小二乘算法,计算 w 和 b5.画出拟合曲线6.附录-测试数据 有监督学习--简单线性回归模型(最小二乘法代码实现) 0.引入依赖 import num阅读全文
posted @ 2019-05-18 08:13 黑泽君 阅读(72) 评论(0) 编辑
摘要: 第六章 Python 基础语法6.1 Python 综述6.1.1 Python 是什么6.1.2 Python 的发展6.1.3 Python 的特点6.2 Python3 安装6.2.1 Python3 和 Python2 的区别6.2.2 Python3 环境的安装(以 windows 为例)阅读全文
posted @ 2019-05-16 12:15 黑泽君 阅读(84) 评论(0) 编辑
摘要: 第一章 推荐系统简介1.1 推荐系统的目的1.2 推荐系统的应用1.3 推荐系统的基本思想1.4 推荐系统的数据分析1.5 推荐系统的分类第二章 推荐系统算法简介2.1 基于人口统计学的推荐算法2.2 基于内容的推荐算法2.3 基于协同过滤的推荐算法2.4 混合推荐算法第三章 推荐系统评测3.1 推阅读全文
posted @ 2019-05-16 11:02 黑泽君 阅读(66) 评论(0) 编辑
摘要: 第七章 异常7.1 异常的简介和异常的处理7.2 异常的传播7.3 异常对象7.4 自定义异常对象第八章 文件8.1 文件--打开8.2 文件--关闭8.3 文件--简单读取8.4 文件--读取大文件8.5 文件--readline8.6 文件--写入8.7 文件--二进制文件8.8 文件--see阅读全文
posted @ 2019-05-14 23:03 黑泽君 阅读(67) 评论(0) 编辑
摘要: 第五章 函数5.1 函数的简介5.2 函数的参数5.3 函数参数传递的方式5.4 函数的不定长参数5.5 函数的返回值5.6 函数的文档字符串--函数的说明5.7 变量的作用域与命名空间5.8 函数的递归5.9 高阶函数5.10 函数的闭包5.11 装饰器--扩展函数的功能第六章 对象6.1 面向对阅读全文
posted @ 2019-05-14 18:10 黑泽君 阅读(50) 评论(0) 编辑
摘要: 第三章 流程控制语句3.1 简介3.2 条件判断语句(if 语句)3.2.1 if 语句3.2.2 input 函数3.2.3 if-else 语句3.2.4 if-elif-else 语句3.2.5 if 练习3.3 循环语句(while 语句 + for 语句)3.3.1 while 循环3.2阅读全文
posted @ 2019-05-12 23:45 黑泽君 阅读(79) 评论(0) 编辑
摘要: 第一章 计算机基础知识1.1 课程介绍1.2 计算机是什么1.3 计算机的组成1.4 计算机的使用方式1.5 windows 的命令行1.6 环境变量(environment variable)1.7 path 环境变量1.8 进制1.9 文本文件和字符集1.10 Sublime Text 3第二章阅读全文
posted @ 2019-05-10 22:38 黑泽君 阅读(106) 评论(0) 编辑
摘要: 第一章 数据库的概述1.1 什么是数据库1.2 数据库分类第二章 MongoDB 的简介、下载、安装、启动、配置和关闭2.1 MongoDB 简介2.2 下载 MongoDB2.3 安装 MongoDB2.4 启动 MongoDB2.5 配置 MongoDB 的 windows 服务2.6 关闭 M阅读全文
posted @ 2019-05-10 10:13 黑泽君 阅读(92) 评论(0) 编辑
摘要: 第四章 解析 Redis 配置文件 redis.conf4.1 Units 单位4.2 INCLUDES 包含4.3 GENERAL 通用4.4 SNAPSHOTTING 快照4.5 SECURITY 安全4.6 LIMITS 限制4.7 APPEND ONLY MODE 追加4.8 常见配置 re阅读全文
posted @ 2019-05-08 15:32 黑泽君 阅读(50) 评论(0) 编辑
摘要: 第一章 NoSQL 入门概述1.1 入门概述1.1.1 单机 MySQL 的美好年代1.1.2 Memcached(缓存) + MySQL + 垂直拆分1.1.3 MySQL 主从复制--读写分离1.1.4 分表分库 + 水平拆分 + MySQL 集群1.1.5 MySQL 的扩展性瓶颈1.1.6 阅读全文
posted @ 2019-05-07 15:43 黑泽君 阅读(48) 评论(0) 编辑
摘要: 1. ELK 简单介绍2. ELK 的用途3. ELK 的优点4. ELK 旧版架构5. ELK 新版架构6. 新版 ELK 架构介绍 1. ELK 简单介绍 ELK 是 elastic(美国数据搜索软件初创公司) 公司提供的一套完整的日志收集、日志搜索分析、展示解决方案,是三个产品的首字母缩写。这阅读全文
posted @ 2019-05-06 00:50 黑泽君 阅读(40) 评论(0) 编辑
摘要: 一 概述1.1 什么是搜索?1.2 如果用数据库做搜索会怎么样?1.3 什么是全文检索和 Lucene?1.4 什么是 Elasticsearch?1.5 Elasticsearch 的适用场景1.6 Elasticsearch 的特点1.7 Elasticsearch 的核心概念1.7.1 近实时阅读全文
posted @ 2019-05-06 00:42 黑泽君 阅读(79) 评论(0) 编辑
摘要: 第4章 凸优化算法4.1 梯度下降4.2 牛顿法4.3 拟牛顿法4.4 BFGS 算法第5章 L1、L2 正则化5.1 从经验风险最小化到结构经验最小化5.2 范数与正则项5.3 贝叶斯先验第6章 线性回归算法6.1 数学模型6.2 线性回归的应用6.2 Spark MLlib 实现第7章 FPGr阅读全文
posted @ 2019-05-05 10:55 黑泽君 阅读(62) 评论(0) 编辑
摘要: 第1章 机器学习概述1.1 机器学习是啥?1.2 机器学习能干啥?1.3 机器学习有啥?1.4 机器学习怎么用?第2章 机器学习的相关概念2.1 数据集2.2 泛化能力2.3 过拟合和欠拟合2.4 维度、特征2.5 模型2.6 学习第3章 算法常用指标3.1 精确率和召回率3.2 TPR、FPR &阅读全文
posted @ 2019-05-04 16:40 黑泽君 阅读(40) 评论(0) 编辑
摘要: Spark 的监控方式 1、Spark Web UI Spark 内置应用运行监控工具(提供了应用运行层面的主要信息--重要)2、Ganglia 分析集群的使用状况和资源瓶颈(提供了集群的使用状况--资源瓶颈--重要)3、Nmon 主机 CPU、网络、磁盘、内存(提供了单机信息)4、Jmeter 系阅读全文
posted @ 2019-05-04 12:10 黑泽君 阅读(49) 评论(0) 编辑
摘要: 第1章 Spark 性能优化1.1 调优基本原则1.1.1 基本概念和原则1.1.2 性能监控方式1.1.3 调优要点1.2 数据倾斜优化1.2.1 为何要处理数据倾斜(Data Skew)1.2.2 如何定位导致数据倾斜的代码1.2.3 如何缓解/消除数据倾斜1.3 运行资源调优1.3.1 运行资阅读全文
posted @ 2019-05-04 11:57 黑泽君 阅读(127) 评论(0) 编辑
摘要: Spark 通信架构 1、spark 一开始使用 akka 作为网络通信框架,spark 2.X 版本以后完全抛弃 akka,而使用 netty 作为新的网络通信框架。最主要原因:spark 对 akka 没有维护,需要 akka 更新,spark 的发展受到了 akka 的牵制,akka 版本之间阅读全文
posted @ 2019-05-02 21:00 黑泽君 阅读(50) 评论(0) 编辑
摘要: 第1章 Spark 整体概述1.1 整体概念1.2 RDD 抽象1.3 计算抽象1.4 集群模式1.5 RPC 网络通信抽象1.6 启动 Standalone 集群1.7 核心组件1.8 核心组件交互流程1.9 Block 管理1.10整体应用第2章 Spark 通信架构2.1 通信组件概览2.2 阅读全文
posted @ 2019-05-02 20:12 黑泽君 阅读(435) 评论(0) 编辑
摘要: Spark GraphX 概述 1、Spark GraphX是什么? (1)Spark GraphX 是 Spark 的一个模块,主要用于进行以图为核心的计算还有分布式图的计算。 (2)GraphX 他的底层计算也是 RDD 计算,它和 RDD 共用一种存储形态,在展示形态上可以以数据集来表示,也可阅读全文
posted @ 2019-04-30 19:48 黑泽君 阅读(54) 评论(0) 编辑
摘要: 第1章 Spark GraphX 概述1.1 什么是 Spark GraphX1.2 弹性分布式属性图1.3 运行图计算程序第2章 Spark GraphX 解析2.1 存储模式2.1.1 图存储模式2.1.2 GraphX 存储模式2.2 vertices、edges 以及 triplets2.2阅读全文
posted @ 2019-04-30 19:25 黑泽君 阅读(209) 评论(0) 编辑
摘要: Spark Streaming 是什么 1、SPark Streaming 是 Spark 中一个组件,基于 Spark Core 进行构建,用于对流式进行处理,类似于 Storm。2、Spark Streaming 能够和 Spark Core、Spark SQL 来进行混合编程。3、Spark 阅读全文
posted @ 2019-04-29 18:57 黑泽君 阅读(56) 评论(0) 编辑
摘要: 第1章 Spark Streaming 概述1.1 什么是 Spark Streaming1.2 为什么要学习 Spark Streaming1.3 Spark 与 Storm 的对比第2章 运行 Spark Streaming第3章 架构与抽象第4章 Spark Streaming 解析4.1 初阅读全文
posted @ 2019-04-29 18:42 黑泽君 阅读(263) 评论(0) 编辑
摘要: 测试中,需要通过 Netcat 发送数据。 配置环境:CentOS 6.8 1、下载安装包到指定目录,例如本博主的是:/opt/software/ wget https://sourceforge.net/projects/netcat/files/netcat/0.7.1/netcat-0.7.1阅读全文
posted @ 2019-04-28 17:42 黑泽君 阅读(69) 评论(0) 编辑
摘要: Spark SQL 1、Spark SQL 是 Spark 的一个模块,可以和 RDD 进行混合编程、支持标准的数据源、可以集成和替代 Hive、可以提供 JDBC、ODBC 服务器功能。 2、Spark SQL 的特点: (1)和 Spark Core 的无缝集成,可以在写整个 RDD 应用的时候阅读全文
posted @ 2019-04-28 11:20 黑泽君 阅读(61) 评论(0) 编辑
摘要: 第1章 Spark SQL 概述1.1 什么是 Spark SQL1.2 RDD vs DataFrames vs DataSet1.2.1 RDD1.2.2 DataFrame1.2.3 DataSet1.2.4 三者的共性1.2.5 三者的区别第2章 执行 Spark SQL 查询2.1 命令行阅读全文
posted @ 2019-04-28 10:42 黑泽君 阅读(315) 评论(0) 编辑
摘要: 1、RDD 全称 弹性分布式数据集 Resilient Distributed Dataset它就是一个 class。 abstract class RDD[T: ClassTag]( @transient private var _sc: SparkContext, @transient priv阅读全文
posted @ 2019-04-26 23:21 黑泽君 阅读(55) 评论(0) 编辑
摘要: 第1章 RDD 概念1.1 RDD 为什么会产生1.2 RDD 概述1.2.1 什么是 RDD1.2.2 RDD 的属性1.3 RDD 弹性1.4 RDD 特点1.4.1 分区1.4.2 只读1.4.3 依赖1.4.4 缓存1.4.5 CheckPoint第2章 RDD 编程2.1 RDD 编程模型阅读全文
posted @ 2019-04-26 22:45 黑泽君 阅读(125) 评论(0) 编辑
摘要: 摘要:Google 在 2003 年到 2004 年公布了关于 GFS、MapReduce 和 BigTable 三篇技术论文(旧三驾马车),这也成为后来云计算发展的重要基石,如今 Google 在后 Hadoop 时代的新“三驾马车” -- Caffeine、Pregel、Dremel 再一次影响阅读全文
posted @ 2019-04-23 19:05 黑泽君 阅读(76) 评论(0) 编辑
摘要: 1、准备安装包 2、Spark Standalone 即独立模式 2.1、解压安装包到你安装的目录。 2.2、拷贝 conf 目录下的 slaves 文件,将 slave 节点的 hostname 写在文件中,每行一个。 2.3、拷贝 conf 目录下的 spark-env.sh 文件,将 SPAR阅读全文
posted @ 2019-04-22 12:15 黑泽君 阅读(70) 评论(0) 编辑
共26页: 上一页 1 2 3 4 5 6 7 8 9 下一页 末页