hyunbar

摘要： 1、概述 梯度下降法和最小二乘法 相同点： 本质和目标相同：两种方法都是经典的学习算法，在戈丁已知数据的前提下利用求导算出一个模型（函数），使得损失函数最小，然后对给定的新数据进行估算预测 不同点： 损失函数：梯度下降可以选取其他损失函数，而最小二乘一定是平方损失函数 实现方法：最小二乘法是直接求导 阅读全文

摘要： 1、准备 准备集群 Zookeeper集群 Hadoop集群 准备flink jar包 官网地址：https://flink.apache.org/downloads.html flink-1.8之后没有集成hadoop，需要下载对应的hadoop jar包 1.8之前： 1.8之后： 需要下载对应 阅读全文

摘要： 1、概述 线性方程求解 线性回归模型 最小二乘法 求解线程回归 1、代码实现 0.引入依赖 import numpy as np import matplotlib.pyplot as plt 1.导入数据（data.csv） ​points = np.genfromtxt('data.csv',d 阅读全文

摘要： 1、机器学习的开端 1952年，IBM的Arthur Samuel（被誉为“机器学习之父”）设计了一款可以学习的西洋跳棋程序 他能通过观察棋子的走位来构建新的模型，并用其提高自己的下棋技巧 Samuel和这个程序进行多场对弈后发现，随着时间的推移，程序的棋艺变得越来越好 2、机器学习的定义 机器学习 阅读全文

摘要： 1、推荐系统的基本思想 知你所想，精准推送 利用用户和物品的特征信息，给用户推荐那些具有用户喜欢的特征的物品 物以类聚 利用用户喜欢过的物品，给用户推荐与她喜欢过的物品相似的物品 人以群分 利用和用户相似的其他用户，给用户推荐那些和他们兴趣爱好相似的其他用户喜欢的物品 2、推荐系统的数据分析 要推荐 阅读全文

摘要： 1 参数类型综述 azkaban的工作流中的参数可以分为如下几个类型： Azkaban UI 页面输入参数 环境变量参数 job作业文件中定义的参数 工作流的用户定义的属性文件，上游作业传递给下游的参数 工作流运行时产生的系统参数 job的common参数 参数类型与其对应的参数范围如下： 参数类型 阅读全文

摘要： 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等。2）各任务单元之间存在时间先后及前后依赖关系。3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行。 例如， 阅读全文

摘要： WINDOWS服务 -- 启动MySQL net start mysql-- 创建Windows服务 sc create mysql binPath= mysqld_bin_path(注意：等号与值之间有空格) 连接与断开服务器 mysql -h 地址 -P 端口 -u 用户名 -p 密码​SHOW 阅读全文

摘要： 1、数据库基础知识 数据保存在内存 优点：存取速度快 缺点：数据不能永久保存 数据保存在文件 优点：数据永久保存 缺点：1）速度比内存操作慢，频繁的IO操作。2）查询数据不方便 数据保存在数据库 1）数据永久保存 2）使用SQL语句，查询方便效率高。 3）管理数据方便 1.1 什么是SQL？ 结构化 阅读全文

摘要： 1、Window Join stream.join(otherStream) .where(<KeySelector>) .equalTo(<KeySelector>) .window(<WindowAssigner>) .apply(<JoinFunction>) 1.1 Tumbling Win 阅读全文