机器学习第一次个人作业

一、学习笔记

二、人工智能前沿

元学习

元学习是目前机器学习领域一个热门的研究方向,它解决的是学习如何学习的问题。
传统的机器学习研究模式是:获取特定任务的大型数据集,然后用这个数据集从头开始训练模型。很明显,这和人类利用以往经验,仅仅通过少量样本就迅速完成学习的情况相差甚远。
因为人类学习了「如何学习」。元学习(Meta-Learning)描述了设计和训练深度神经网络相关的更高级别组件的抽象过程。

元学习被用在了哪些地方?

元学习通常被用在:优化超参数和神经网络、探索好的网络结构、小样本图像识别和快速强化学习等。

图神经网络

历史脉络

1.图神经网络的概念最早在2005年提出。2009年Franco博士在其论文中定义了图神经网络的理论基础。
2.最早的GNN主要解决的还是如分子结构分类等严格意义上的图论问题。但实际上欧式空间(比如像图像 Image)或者是序列(比如像文本 Text),许多常见场景也都可以转换成图(Graph),然后就能使用图神经网络技术来建模。
3.2013年,在图信号处理(Graph Signal Processing)的基础上,Bruna在文献中首次提出图上的基于频域(Spectral-domain)和基于空域(Spatial-domain)的卷积神经网络。
4.其后至今,学界提出了很多基于空域的图卷积方式,也有不少学者试图通过统一的框架将前人的工作统一起来。
5.2014年,在word2vec的启发下,Perozzi等人提出了DeepWalk,开启了深度学习时代图表示学习的大门。就在几乎一样的时间,Bordes等人提出了大名鼎鼎的TransE,为知识图谱的分布式表示(Represent Learning for Knowledge Graph)奠定了基础。

图神经网络的应用

GNN 被应用在众多的领域,具体将分为结构化场景、非结构化场景以及其他三个类别。
在结构化场景中,GNN 被广泛应用在社交网络、推荐系统、物理系统、化学分子预测、知识图谱等领域。
在非结构领域,主要应用于其数据结构为非图结构的场景,如图片、文本等。
在其他领域应用:图生成模型、使用 GNN 来解决组合优化问题的场景。

我国存在的不足

“如果缺少核心算法,当碰到关键性问题时,还是会被人‘卡脖子’。”浙江大学应用数学研究所所长孔德兴教授说,我国人工智能产业的创新能力并没有传说中的那样强,事实是,产业发展过度依赖开源代码和现有数学模型,真正属于中国自己的东西并不多。
既然代码是开源的,拿来用就好,为什么还有可能被“卡脖子”?孔德兴解释,开源代码是可以拿过来使用,但专业性、针对性不够,效果往往不能满足具体任务的实际要求。以图像识别为例,用开源代码开发出的AI即使可以准确识别人脸,但在对医学影像的识别上却难以达到临床要求。
用开源代码“调教”出的AI顶多是个“常人”,而要帮助AI成长为“细分领域专家”,需以数学为基础的原始核心模型、代码和框架创新。

posted @ 2020-03-20 17:58  1e9+7  阅读(185)  评论(0编辑  收藏  举报