摘要：1.转化二进制 2.生成种群 3.计算存活率 淘汰一部分 4.交叉 交叉算子，位置 5.变异 变异算子 翻转比特 假设表示 属性等长二进制字符串，true 1 false 0 交叉算子 变异算子 轮盘赌选择 锦标赛选择 遗传编程： 程序表示： 解析树 阅读全文

摘要：1.k-近邻算法： 可以消除孤立的噪声样例的影响，可能出现维度灾难，近邻是多个不相干属性 连续值修改 2.距离加权最近邻算法 3.局部加权线性回归 4.径向基函数 核函数用高斯函数 5.消极算法 与积极算法的对比 阅读全文

摘要：1.样本复杂度，计算复杂度，出错界限 样本复杂度 2.可能近似正确（PAC） 3.真实错误率 训练错误率： 样本错误率 4.一致学习器 变形空间： 详尽变形空间： 训练样本数目 5.不可知学习和不一致学习 hoeffding边界 6.无限假设空间的样本复杂度 Vapnik-Chervonenkis维 阅读全文

摘要：1.贝叶斯信念网 区别于朴素贝叶斯，朴素贝叶斯假定属性独立于条件，贝叶斯信念网描述变量的一个子集上的条件独立（中间方法），可以用于在知道某些变量的值或分布时，计算网络中另一部分变量的概率分布 联合空间，联合概率分布 2.条件独立性 区别于朴素贝叶斯： 3.表示： parents是其直接前驱 4.贝叶 阅读全文

摘要：极大后验：（MAP） 似然度：P（D|h) 极大似然： 蛮力法：计算所有假设的后验概率，找出最大的一个输出 VS,D，和D一直子集 阅读全文

摘要：sigmoid单元：阈值输出是输入的连续函数--挤压函数 导数： 反向传播算法： 误差： 缓解局部极小值： 1.增加冲量 2.使用不同的随机权值初始化每个网络 解决过度拟合: 1.训练数据 验证数据 2.小数据集 k-fold 交叉验证 其他可选误差和最小化过程 阅读全文

摘要：感知器 分类超平面？ 感知器训练法则 要求线性可分，不是的话不能收敛 梯度下降和delta法则 曲面 单一全局最小值 最陡峭下降方向 训练误差 梯度：最陡峭上升方向 训练法则 调整：随着梯度下降减小学习速率 梯度下降随机近似: 下降步长小，不易陷入局部最优解 不用所有训练样本，改用单一 增量法则 阅读全文

摘要：决策树：逼近离散值目标函数 适用问题：离散值分类 选择分类能力最好的属性根节点 度量： 熵 正例反例 同属于一类0，正=反 1 优选偏置，限定偏置 过度拟合：随机错误，噪声 数据太少 解决： 尽早停止树增长 修剪： 1.错误率降低修剪 2.规则后修剪 转换成规则 合并连续值属性 定义新属性，区间中值 阅读全文

摘要：从训练样本归纳出定义 正例，反例，训练样例D，可能假设的集合H 假设数量：语法不同，语义不同 假设一般到特殊序 ≥g k是j子集 Find-S: 多个假设中的一个 初始化全反例 每个训练样本泛化到一致最特殊 不考虑反例 列表后消除算法： 列出所有消除反例 候选消除算法：与训练样例一直的所有假设集合， 阅读全文