Orion's Blog

摘要： 今年保研时针对面试常见的英文问题做了一些准备，这里记录一下。大致包括：介绍一下你的优点、介绍一下你的家乡、介绍一下你的读研计划等等。 阅读全文

摘要： 个人双非本科在读，今年采保研到了哈工大深圳的CS。这里贴一下我今年保研面试的时候英文介绍，哈哈，仅供想要准备保研面试的同学参考一下。 阅读全文

摘要： 最近需要学习图结构中的社区检测算法，在阅读相关论文的同时跟了Stanford CS246课程的第11讲Community Detection in Graphs，本篇博客为我做的笔记。我们通常认为网络中存在某种模块(modules)/簇(clusters)/社区(communitis)结构，我们常常需要从网络中提取这些结构。而提取这些结构的关键在于发现密集连接的簇，而这常常可以转化为一个优化关于簇的目标函数的问题。按照图的社区划分之间是否重叠，可分为重叠社区检测和非重叠社区检测。非重叠社区检测是指图的社区划分之间没有重叠，而重叠社区检测则允许有重叠。 阅读全文

摘要： 在做实验时，我们常常会使用用开源的数据集进行测试。而Pytorch中内置了许多数据集，这些数据集我们常常使用DataLoader类进行加载。而我们用for语句来遍历DataLoader类的对象时，我们并没有显式将Dataloader转换为迭代器类型。这其实是Python语言for循环的一种机制，一旦我们用for ... in ...句式来迭代一个对象，那么Python解释器就会偷偷地自动帮我们创建好迭代器。 阅读全文

摘要： 在上一篇博文《Python中的随机采样和概率分布(一)》中，我们介绍了Python中最简单的随机采样函数。接下来我们更进一步，来看看如何从一个概率分布中采样，我们以几个机器学习中最常用的概率分布为例，包括二项(binomial)分布/伯努利(Bernoulli)分布、多项(multinomial)分布、均匀(uniform)分布和狄利克雷(Dirichlet)分布。 阅读全文

摘要： Python（包括其包Numpy）中包含了了许多概率算法，包括基础的随机采样以及许多经典的概率分布生成。我们这个系列介绍几个在机器学习中常用的概率函数。先来看最基础的功能——随机采样。它包括了random.choice、random.choices、numpy.random.choices等函数 阅读全文

摘要： 在上一篇博文《联邦学习中的模型聚合》中，我们关注了在联邦学习中模型聚合(参数通信)的问题，但是对每一个client具体的模型架构设计和参数优化方法还没有讨论。本篇文章我们关注具体模型结构设计和参数优化。首先，在本篇论文中不同的client有一个集成模型，而每一个集成模型由多个模型分量组成，可以清晰地观察到其层次结构。接下来我们就**自顶向下**地分层次展示Client、Learners_ensemble和每个Learner的设计原理。 阅读全文

摘要： 只需三步:下载CodeLLDB插件-配置tasks.json-配置launch.json 阅读全文

摘要： 我follow的这篇论文在联邦学习(分布式)的情景下引入了多任务学习，其采用的手段是使每个client/task节点的训练数据分布不同，从而使各任务节点学习到不同的模型，且每个任务节点以及全局(global)的模型都由多个分量模型集成。该论文最关键与核心的地方在于将各任务节点学习到的模型进行聚合/通信，依据模型聚合方式的不同，可以将模型采用的算法分为client-server方法，和fully decentralized(完全去中心化)的方法（其实还有其他的聚合方法没，如另一篇论文提出的簇状聚合方法，我们这里暂时略过），其中这两种方法在具体实现上都可以替换为对代理损失函数的优化，不过我们这里暂时略过。 阅读全文

摘要： Python中的序列迭代有很多陷阱，而这些大都和Python的对象模型和浅拷贝/深拷贝的知识相关。而迭代器返回的是序列中对象的引用，而基础数据类型被二次引用时，一旦副本发生改变，则副本马上被拿去引用一个新对象，此时副本地址就完全和列表元素地址本身独立了。Python中对字典的迭代本质上等值于对列表的迭代，故对于列表的迭代注意事项可以原封不动地搬到字典这里。 阅读全文