随笔分类 -  机器学习

K-means
摘要：聚类，与其说他是机器学习，不如说是数据挖掘，对数据直接进行处理 前提假设： 假设你的数据分布是均匀的，不希望你的数据是稀疏或密集时候，用k-means是不理想的；对异常值比较敏感，对初始化也很敏感。 假设数据特征之间的联合分布是椭圆的，这个条件在真实世界很难满足。 K-means算法： 初始化 ：随 阅读全文
posted @ 2020-12-17 21:38 TOWERB 阅读(134) 评论(0) 推荐(0)
集成学习
摘要：集成学习方法（Ensemble Method） 1.Majority Voting 不同的模型 1.1 hard voting mode ：取众数 1.2 为什么做majority voting？ 1.3 soft voting 2.Bagging（Boostrap Aggregating） 数据b 阅读全文
posted @ 2020-12-03 20:05 TOWERB 阅读(198) 评论(0) 推荐(0)
LDA
摘要：线性判别分析（LDA） 监督学习 1.LDA进行分类 2.LDA进行降维 连接作为投影：中间会有重叠 3.Kernel LDA 但是并不想把所有的x直接投影到特征空间，因为回增加计算量和内存，借鉴SVM的思路 阅读全文
posted @ 2020-12-03 20:01 TOWERB 阅读(301) 评论(0) 推荐(0)
Softmax with cross Entropy
摘要：Softmax with cross Entropy 1.softmax应用场景--CNN分类 感官上：把不是0-1的数，转为0-1的概率值 输出层：当抓取到足以用来识别图片的特征后，接下来的就是如何进行分类。输出层主要准备做最后目标结果的输出。 图像目标识别通常使用Softmax输出层，输出各个类 阅读全文
posted @ 2020-11-24 13:35 TOWERB 阅读(288) 评论(0) 推荐(0)
PCA与LDA
摘要：一、主成分分析简称 PCA（Principal Component Analysis） 非监督 目的：原来的数据集是d维，转换成k维的数据，k<d，新的k维数据尽可能多的包含原来d维数据的信息 1.1 用处： 1.Clustering 把复杂的多维数据点，简化成少量数据点，易于分簇 2.降维(特征工 阅读全文
posted @ 2020-11-23 13:25 TOWERB 阅读(571) 评论(0) 推荐(0)
机器学习基础
摘要：1. 线性回归 X，Y是线性的 是偏置（有点像截距），防止Y为0，矩阵表示时，为全1 ：数据集收集的时候有误差（高斯误差，均值为0） 表达向量很相似 D：和，代表所有的数据，和相互独立 2. Basic Expansion 2.1 使用Basis expansion捕捉自变量和因变量的非线性关系 2 阅读全文
posted @ 2020-11-21 10:25 TOWERB 阅读(157) 评论(0) 推荐(0)
NP
摘要：1. 困难问题与简单问题 生活中：没有具体的量化标准 计算机：时间复杂度（大O表示法） 2. 什么是P,NP,NP Complete （一）P = Polynomial （在多项式时间内得到解决） （二）NP = Non Deterministic Polynomial （对于一个问题，假如能在多项 阅读全文
posted @ 2020-11-20 18:02 TOWERB 阅读(1075) 评论(0) 推荐(0)
LP
摘要：1. 线性规划：Linear programming 1.1 定义线性规划模型的步骤： 线性规划，在线性约束条件下，线性目标函数求极值。（凸优化问题） 步骤： 确定决策变量 确定线性目标函数，求max或min 确定线性约束条件 写出数学模型 1.2 线性规划标准形式 1.3 转换为松驰型 松驰型：用 阅读全文
posted @ 2020-11-20 17:59 TOWERB 阅读(201) 评论(0) 推荐(0)
kernel
摘要：续上：SVM中的kernel 带Kernel 的linear regression kernel可应用到别的算法，不仅仅在SVM 一、常见kernel l 多项式：二维到三维 l 高斯核函数（需要正规化） l sigmoid kernel l cosine similarity kernel l c 阅读全文
posted @ 2020-11-20 17:57 TOWERB 阅读(753) 评论(0) 推荐(0)
SVM
摘要：SVM 一、SVM：找最优分界线 1.1 线性理想SVM == max margin classiler（margin：d1+d2 = 2/w越大越好） 1.2 数学模型 ||w||是w的转置和w相乘，他们的求和实质是不一样的，求和的下标i，j不同 1.3 对偶及其KKT条件 <x^(i),x>点击 阅读全文
posted @ 2020-11-20 17:53 TOWERB 阅读(268) 评论(1) 推荐(0)
凸优化和对偶
摘要：一、机器学习基础及凸优化 参考：http://cvxopt.org/userguide/coneprog.html 1. 凸函数 1.1 Optimization Categories 1.1.1 convex or non-convex lGlobal optimization or better 阅读全文
posted @ 2020-11-20 17:49 TOWERB 阅读(356) 评论(0) 推荐(0)