随笔分类 - 机器学习
摘要：机器学习的过程和人学会辨识的过程几乎是完全一样的，提供大量的图片之类的媒介给机器学习训练，训练结束要对没有讲过的图片进行判断，并且要保证一定的正确率。 学习必须要满足几个条件：1 存在某种模式或者先验知识 2 模式是否容易定义 3 足够的数据。但是这几个条件不一定都使用 现在把这种知识迁移到对学生的
阅读全文
摘要：最近看到一篇数值矩阵求梯度的论文。以前一直以为求导仅仅对于函数而言的。 之前学过的，比如高数及数分中的梯度，然后是数值分析中的雅可比矩阵，以及矩阵论及最优化方法中的海森矩阵。 但是对于数值矩阵也有自己的一阶导数、二阶导数以及梯度。导数就是按行或者列做差；梯度比如对于一个3乘3的矩阵，横向梯度的第2列
阅读全文
摘要：群里环境学院的似乎是项目中遇到的，污水中有甲苯、1-2二氯乙烷、2-4-6三氯苯酚，问什么企业排放的。 把化工专业知识放一边，个人电类专业，只学过工程化学，肯定无法极其准确判断，需要咨询化工专业的。但是是不是可以用深度学习来完成呢，
阅读全文
摘要：最近北辰请了几个老师来做报告，光是做并行的老师就三个。 做大规模优化的老师认为做这样的问题是把问题进行分割； 华工的老师没有提是否用了超算，但是强调了并行模型的几种类型，包括主从式，岛屿式，单元式以及层次式。 今天上午李院长的报告则是讲到如果并行程序出现一些结点变慢，问题可能是出在数据不平衡，或者受
阅读全文
摘要：去年底博士老板从国外电话让我做推理，于是一头雾水，完全没有概念。看了一些论文，在南开数学听了一堆，也仍毫无头绪，是不是推理就是柯南+狄仁杰。。后来就是备课一堆搁置一边。 最近看了一些浙大吴飞老师讲的他做的因果推理，总觉得有点像贝叶斯；但是苏州的师兄他弄的推理是基于模糊集隶属度函数的。 然后改本子时候
阅读全文
摘要：最近实验室师兄要求读论文，而且要找数据集标注数据。之前没做过图像数据标注的问题。但是根据参加各种学术会议听报告，其实就是对手势的关键帧进行处理。 虽说标注图像数据是个低级的活，但是入门需要这个。前几年市里学科学术会议看过其他学校做这方面的，比如用kinect，先找标数据的工具，有自动的也有手动的，手
阅读全文
摘要：MIT和stanford还是众星云集，不过忽然发现学术会议中开始出现印度、西亚和非洲的一些大学，说明这些地方的研究有很多的进展。于是查了一下几所。 首先还是印度理工。看了一下他们计算机系的教授，比国内清华还是强一些，虽然清华近年论文数量猛增。起码IIT的CS，发STOC论文一点不虚。 http://
阅读全文
摘要：最近研究核学习中，看到书上说的零化度，于是一头雾水，查了一下，原来就是矩阵论学过的亏的概念。秩和亏的和就是矩阵的维数。 但是搜索引擎居然推送了机器学习模型退化的一篇分析文章。 概念漂移: 表示模型试图预测的目标变量的统计特性随着时间以不可预见的方式发生变化。这导致了一些问题，因为随着时间的推移，预测
阅读全文
摘要：大二时候就学了弃真、取伪这两种错误，一直没找到合适的例子记住。 其实例子很容易举出。比如司法机关审判案件，按照疑罪从无的办法处理，实际上是为了降低犯第一类错误的概率，也就是尽量不出现冤假错案； 而在制药和诊断中，则要降低犯第二类错误的概率。得病的结果诊断成没病，就是第二类错误。 简书上给出的图很形象
阅读全文
摘要：最近审论文和看报告中遇到LM优化和齐普夫分布，于是查了一下。 LM方法是高斯牛顿迭代方法的改进，下面分别是高斯牛顿、齐普夫方法的公式： Δ=−(JfTJf)−1JfTf，Δ=−(JfTJf+λI)−1JfTf 即下降太快，使用较小的λ，更接近高斯牛顿 即下降太快，使用较小的λ，更接近高斯牛顿 即下降
阅读全文
摘要：最近聆听了两个IEEE FELLOW的高论。周末北大林老师来学校做了个报告，讲了很多新的机器学习概念。但是本人更关注的低秩学习，林老师只字未提。虽然如此，林老师的论文最近还是深入研究了很多，有多少改进的空间先不说，一篇LADMAP就需要看好几篇论文甚至回溯到十几年前的一些论文。或者说，当目标函数中有
阅读全文
摘要：博三时候师兄没少耳提面命说局部留一和全局留一，一直都是没太理解。最近终于感觉有点了解，于是记录一下。 其实问题还是来自于前一阵在南开听西交大一个老师的报告。各地医科大学的老师在当时纷纷提出对于训练集、验证集和测试集的一些想法，特别是验证集和测试集的区别。当时西交的老师的解释似乎是比如五折交叉验证，而
阅读全文
摘要：写专利时，查找关于使用离散数据结构用于分子相互作用预测文献中，把敏感性和特异性也关注了一下。 之前和师兄合作论文的时候，只是死记硬背TP、TN等指标，但是仔细回想以前讨论时候师兄实际已经和实验室的同学用实例说明了这个问题，而且服务计算国际会议上也有老师提问过其他讲者这个问题。 对于敏感性sensit
阅读全文
摘要：本文不涉及深度学习，感觉目前深度学习几乎可以独立出机器学习单出一个学科了。于是这里的笔记仅仅狭义地总结一些论文所引用的一些技巧和概念。 知乎上大神们似乎认为，子空间学习是高维空间向低维空间投影的降维。https://www.zhihu.com/question/26908926 而小样本学习，知乎的
阅读全文
摘要：关于度量学习，之前没有看太多相关的文献。不过南京的周老师的一篇NIPS，确实把这个问题剖析得比较清楚。 Mahalanobis距离一般表示为d=(x-y)TM(x-y),其中x和y是空间中两个样本点，M就是要学出的度量。 这里的度量的在马氏距离公式的意义是，在先验概率不等的情况下，用M作为协方差参数
阅读全文
摘要：昨天西邮的学友让我看一段python svm的输入文件格式，但是我打开很久不用的pycharm后发觉python包早已过时。于是搜了一下教程，看来python也得同时补习了 另外，机器学习还需要装很多包，比如numpy https://jingyan.baidu.com/article/03b2f7
阅读全文
摘要：最近几个同专业的都发了trans,相比起来自己trans也得努力了。而看了看他们的论文，也几乎不约而同的在损失函数上做了文章。 比如hinge loss https://blog.csdn.net/chaipp0607/article/details/76037351 https://blog.cs
阅读全文
摘要：前一阵被师妹问维生素论文里的特征选择，Fisher score和Laplacian score两种方法一直也没讲。于是趁把第四篇论文刚投完，马上把这个总结一下。 Fisher特征选择的主要思想是，认为鉴别性能强的特征的表现是类内部样本点的距离尽可能小，类之间的距离尽量大。 假设数据中有n个样本属于C
阅读全文
摘要：格拉姆矩阵是由内积空间中的向量两两内积而得。格拉姆矩阵在向量为随机的情况下也是协方差矩阵。每个数字都来自于一个特定滤波器在特定位置的卷积，因此每个数字代表一个特征的强度，而Gram计算的实际上是两两特征之间的相关性，哪两个特征是同时出现的，哪两个是此消彼长的等等，同时，Gram的对角线元素，还体现了
阅读全文
浙公网安备 33010602011771号