摘要:拜读了Jure Leskovec的《Representation Learning on Networks》才明白图神经网络到底在学什么,是如何学的,不同GNN模型之间的关系是什么。总的来说,不同类型的模型都是在探讨如何利用图的节点信息去生成节点(图)的embedding表示。 图表示学习的两大主流 阅读全文
posted @ 2020-11-22 16:04 鱼与鱼 阅读(108) 评论(0) 推荐(0) 编辑
摘要:1. 如何建图? 要跑最短路,首先要有图 ——鲁迅 常用的存储方法有两种,分别是邻接矩阵(用二维数组表示边)和邻接表(模拟链表表示边)两种,他们各有不同的优势和不足: 邻接矩阵 邻接表 使用范围 稠密图 主要是稀疏图 空间耗费 n^2(n节点数) 理论上是 e( e为边条数) 实现方式 二维数组 存 阅读全文
posted @ 2020-09-05 14:09 鱼与鱼 阅读(342) 评论(0) 推荐(1) 编辑
摘要:梯度下降怎么并行的? mini-batch Gradient Descent 并行化SGD LR怎么并行的? 按行并行 将数据按行(样本)划分到多个机器,每个机器负责计算部分样本,最后相加。 按列并行 将数据按列(特征)进行划分,每个机器负责计算部分特征,将不同机器计算结果相加。 假设M个样本,每个 阅读全文
posted @ 2020-09-03 09:58 鱼与鱼 阅读(71) 评论(0) 推荐(0) 编辑
摘要:回顾监督学习的一些要素 训练样本:\(x_i\) 模型:给定 \(x_i\) 预测 \(\hat{y}_i\) 参数:需要从数据中学到的 \(\theta = \{w_j|j=1,2,\cdots,d\}\) 目标函数 \[ obj(\theta) = L(\theta)+ \Omega(\thet 阅读全文
posted @ 2020-08-29 10:54 鱼与鱼 阅读(90) 评论(0) 推荐(0) 编辑
摘要:ID3 C4.5 CART 特征选择 信息增益 信息增益比 基尼不纯度 连续值处理 只能处理离散值 排序后找到不同类别的分割线 二分 特征在层级之间复用 否 否 是 树形式 多叉 多叉 二叉树 剪枝 无 有 有 适用问题 分类 分类 分类/回归 关于特征选择方式与熵? 熵反映了信息量大小(混乱程度) 阅读全文
posted @ 2020-08-28 14:24 鱼与鱼 阅读(62) 评论(0) 推荐(0) 编辑
摘要:逻辑回归与线性回归 逻辑回归 线性回归 目标函数 $\prod_N[\pi(x_i)][(1-\pi(x_i))^{(1-y_i)}] \(|\)\frac{1}{2}\sum_^N(\hat-y_i)^2$ 输出 离散值(分类) 连续值(回归) 求解 对似然函数求导,交叉熵 最小均方差求导 联系: 阅读全文
posted @ 2020-08-27 11:18 鱼与鱼 阅读(47) 评论(0) 推荐(0) 编辑
只有博主才能阅读该文。 阅读全文
posted @ 2020-08-26 15:44 鱼与鱼 阅读(0) 评论(0) 推荐(0) 编辑
摘要:二叉树遍历 前序:根左右 中序:左根右 后序:左右根 深度优先 前序遍历 144. 二叉树的前序遍历 给定一个二叉树,返回它的 前序 遍历。 示例: 输入: [1,null,2,3] 1 \ 2 / 3 输出: [1,2,3] # Definition for a binary tree node. 阅读全文
posted @ 2020-08-05 13:00 鱼与鱼 阅读(88) 评论(0) 推荐(0) 编辑
摘要:二叉树展开为链表 LeetCode入口👉👉👉No.114 给定一个二叉树,原地将它展开为一个单链表。 例如,给定二叉树 1 / \ 2 5 / \ \ 3 4 6 将其展开为: 1 \ 2 \ 3 \ 4 \ 5 \ 6 思路 源自LeetCode题解 将左子树插入到右子树的地方 将原来的右子 阅读全文
posted @ 2020-08-04 13:16 鱼与鱼 阅读(72) 评论(0) 推荐(0) 编辑
摘要:剑指 Offer 16. 数值的整数次方 难度⭐⭐ 实现函数double Power(double base, int exponent),求base的exponent次方。不得使用库函数,同时不需要考虑大数问题。 快速幂法 \[ n = 1b_1 + 2b_2 + 4b_3 + ... + 2^{ 阅读全文
posted @ 2020-08-02 15:38 鱼与鱼 阅读(40) 评论(0) 推荐(0) 编辑