摘要：
进程和线程的区别 进程是资源（CPU、内存等）分配的基本单位，它是程序执行时的一个实例。程序运行时系统就会创建一个进程，并为它分配资源，然后把该进程放入进程就绪队列，进程调度器选中它的时候就会为它分配CPU时间，程序开始真正运行。 线程是程序执行时的最小单位，它是进程的一个执行流，是CPU调度和分派 阅读全文
摘要：
传统的编码-解码机制 attention和self-attention 的区别 具体计算过程是一样的 计算对象不同，attention是source对target的attention，而self attention 是source 对source的attention。 attention用于Seq2 阅读全文
摘要：
RNN结构，双向LSTM，Transformer， BERT对比分析 RNN RNN 按照时间步展开 Bi-RNN 向前和向后的隐含层之间没有信息流。 LSTM 长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失问题。 阅读全文
摘要：
一、Normlization 原因和动机 在机器学习和深度学习中，有一个共识：独立同分布的数据可以简化模型的训练以及提升模型的预测能力——这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。也就是说我们在使用机器学习和深度学习的时候，会把数据尽可能的做一个独立同分布的处理，用来加快模型 阅读全文
摘要：
1. 组合总数 class Solution: def combinationSum(self, candidates: List[int], target: int) -> List[List[int]]: res = [] path = [] candidates.sort() self.dfs 阅读全文
摘要：
中序遍历 & 层次遍历 leetcode-中序遍历 leetcode-层次遍历 from typing import List class TreeNode: def __init__(self, val, left=None, right=None): self.val = val self.le 阅读全文
摘要：
时间复杂度 排序法 最坏情况 平均时间 稳定度 辅助存储 冒泡排序 O(n^2) O(n^2) 稳定 O(1) 插入排序 O(n^2) O(n^2) 稳定 O(1) 选择排序 O(n2) O(n^2) 稳定 O(1) 快速排序 O(n^2) O(n*log2n) 不稳定 O(logn) 堆排序 O( 阅读全文
摘要：
极大似然估计 & 最大后验概率 参考： https://zhuanlan.zhihu.com/p/40024110 https://zhuanlan.zhihu.com/p/32480810 频率学派和贝叶斯学派 对事物建模的时候用 \(\theta\) 表示模型的参数，解决问题的本质就是求$\th 阅读全文
摘要：
条件随机场(Conditional Random Fields, 以下简称CRF)是给定一组输入序列条件下另一组输出序列的条件概率分布模型 什么样的问题需要CRF模型 为了让我们的分类器表现的更好，可以在标记数据的时候，可以考虑相邻数据的标记信息。序列化标注任务。 从随机场到条件随机场 随机场：随机 阅读全文
摘要：
稀疏交互 每个输出神经元仅与前一层特定局部区域内的神经元存在权重连接。 假设网络中相邻两层分别具有m个输入和n个输出。全连接网络中的权值参数矩阵为m*n个参数。对于CNN，如果限定每个输出与前一层的神经元连接个数为K，那么该层的参数总量为k*n 物理意义：先学习局部特征，再将局部特征组合起来形成更复 阅读全文