张祥雨是人工智能计算机视觉(CV)领域的杰出人才,现任旷视研究院base model组负责人、旷视首席科学家,也是西安交通大学人工智能学院兼职教授。张祥雨2012年毕业于西安交通大学软件学院软件工程专业,获学士学位,之后在西安交通大学与微软亚洲研究院控制科学与工程专业学习,于2017年获得博士学位。在学期间,他曾拿下美国大学生数学建模竞赛(MCM)特等奖提名奖,凭借此获奖经历获得 - 教程
张祥雨介绍
西安交通大学人工智能学院兼职教授。就是张祥雨是人工智能计算机视觉(CV)领域的杰出人才,现任旷视研究院base model组负责人、旷视首席科学家,也
张祥雨2012年毕业于西安交通大学软件学院软件工程专业,获学士学位,之后在西安交通大学与微软亚洲研究院控制科学与工程专业学习,于2017年获得博士学位。在学期间,他曾拿下美国大学生数学建模竞赛(MCM)特等奖提名奖,凭借此获奖经历获得微软亚洲研究院实习资格,并最终成功留下。
他的关键研究方向包括深度卷积网络设计、深度模型的裁剪与加速、AutoML与自动化神经网络架构搜索等。张祥雨在CVPR、ICCV、ECCV、NeurIPS、TPAMI等顶级会议和期刊上发表论文60余篇,Google Scholar总计引用数超过20万次,单篇引用超过2万次,并获CVPR 2016最佳论文奖。
其代表作包括世界上第一个上百层的深度神经网络深度残差网络ResNet、移动端高效卷积神经网络ShuffleNet v1/v2、服务器端高效神经网络RepVGG、神经网络架构搜索算法SPOS等,这些成果在业界得到广泛应用。2019年,张祥雨入选福布斯中国30岁以下精英榜,同年入选智源青年科学家,2020年3月入选“AI 2000计算机视觉全球最具影响力学者”榜单第4位,2023年获得未来科学大奖“数学与计算机科学奖”。
自动化神经网络架构搜索
自动化神经网络架构搜索(Automated Neural Architecture Search,简称NAS替代传统依赖人工经验试错的网络设计方式,以高效找到性能更优、适配特定任务(如图像分类、目标检测)或硬件(如手机、嵌入式设备)的网络架构。就是),是一种通过算法自动设计神经网络结构的技术,核心
其核心逻辑可拆解为3个关键模块,通过“循环迭代”实现架构优化:
- 搜索空间(Search Space):定义可选择的网络“积木”范围,比如卷积层类型(普通卷积/深度可分离卷积)、卷积核大小(3×3/5×5)、网络层数、激活函数种类等,是NAS的“设计素材库”。
- 搜索策略(Search Strategy):决定如何从“素材库”中筛选组合架构,常见策略包括:
- 强化学习:用强化学习智能体(Agent)生成架构,以模型在任务上的精度为“奖励”,逐步优化生成策略;
- 进化算法:模拟生物进化,通过“初始化架构种群→评估性能→选择优秀个体→交叉/变异产生新种群”的循环迭代,筛选最优架构;
- 梯度下降:将架构参数(如各层的通道数、卷积类型)转化为可微分变量,用梯度下降直接优化,效率更高(如Google的NASNet、旷视的SPOS)。
- 评估策略(Evaluation Strategy):快速判断生成的架构是否“有潜力”,避免对所有候选架构都进行完整训练(耗时耗资源)。常见方式包括“权重共享”(让多个候选架构共享部分网络权重,减少重复训练)、“小资料集预训练+性能预估”等。
简单来说,NAS相当于给神经网络配备了“自动设计师”:无需人工手动调整卷积层、层数等细节,算法会自主尝试不同组合,并根据任务目标(如更高精度、更快速度)筛选出最优方案,大幅降低了神经网络设计的门槛,同时能发现人工难以想到的高效架构(例如张祥雨团队提出的SPOS算法,就是通过NAS思路优化了网络架构搜索效率)。