深度学习参数优化新突破获顶级奖项

某中心科学家荣获ICLR杰出论文奖

某中心高级应用科学家与合作者近日获悉，他们的研究论文荣获即将召开的国际学习表征会议（ICLR 2021）杰出论文奖，这是八篇获奖论文之一。

参数优化突破

获奖论文《超越四元数的全连接层：用1/n参数实现超复数乘法参数化》由某中心科学家Aston Zhang与南洋理工大学、苏黎世联邦理工学院和蒙特利尔大学的六位研究人员共同完成。

神经网络常包含全连接层，其中一层的每个节点都与下一层的所有节点相连。全连接层的操作通常建模为矩阵乘法。近期研究表明，通过使用四元数（复数的四维推广）可以减少表示全连接层所需的参数数量。四元数将实数与三个虚数i、j、k相结合。

由于具有四个分量，四元数仅需四分之一参数即可表示全连接层的操作。该论文进一步将这一概念扩展到更高维的超复数——可包含四个、二十个甚至任意多个虚数分量，从而实现更大的参数节省。

创新数学表示

在开发能够捕捉任意超复数操作的数学表示时，研究团队发现同一表示也能捕捉实数运算（如矩阵乘法）。他们找到了一种将任意超复数和实数统一在单一描述下的方法。

“论文审稿人帮助我们改进了研究，”Zhang表示，“他们建议我们探索如何在不同空间（如人工数据集）上经验学习预定义的乘法规则。”

虽然预定义的四元数或实数系统中存在乘法规则，但仅依赖这些规则可能会限制深度学习的架构灵活性。

“通过从数据中学习乘法规则，用户可以根据自身应用灵活指定或调整超复数的维度，即使这些数字或规则在数学上并不存在。”

研究团队与后续工作

该论文的合作者包括Yi Tay、Shuai Zhang、Alvin Chan、Anh Tuan Luu、Siu Cheung Hui和Jie Fu。在某中心，Zhang目前正在完成与Zachary Lipton、Mu Li和Alex Smola合著的《深入深度学习》一书。

会议组织者指出，今年共收到860篇论文投稿，其中部分提交至杰出论文委员会评审。八篇获奖论文将于5月5日至6日在杰出论文专场进行展示。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码