ACL 2024大语言模型研究全景解析

ACL 2024大语言模型研究全景解析

如同整个对话式AI领域一样，某中心在今年计算语言学协会（ACL）会议上发表的论文主要集中在大语言模型（LLM）的研究工作上。那些使LLM输出如此卓越的特性——如语言流畅性和语义连贯性——也 notoriously 难以量化；因此，模型评估已成为一个特别关注的领域。但某中心的论文探索了广泛的LLM相关主题，从代码合成和自动语音识别等应用，到持续预训练和幻觉缓解等LLM训练与部署问题。被新创刊的ACL会议录接受的论文以星号标记。

代码合成

微调语言模型以联合重写和补全潜在错误代码
Dingmin Wang, Jinman Zhao, Hengzhi Pei, Samson Tan, Sheng Zha

持续预训练

高效持续预训练用于构建领域特定大语言模型*
Yong Xie, Karan Aggarwal, Aitzaz Ahmad

数据质量

网络上机器翻译内容惊人之多：来自多向并行性的洞察*
Brian Thompson, Mehak Dhaliwal, Peter Frisch, Tobias Domhan, Marcello Federico

文档摘要

摘要-源对齐的力量
Ori Ernst, Ori Shapira, Aviv Slobodkin, Sharon Adar, Mohit Bansal, Jacob Goldberger, Ran Levy, Ido Dagan

幻觉缓解

通过事实一致性模型学习生成带引用的答案
Rami Aly, Zhiqiang Tang, Samson Tan, George Karypis

意图分类

你的模型能区分否定与含义吗？揭示意图编码器的挑战
Yuwei Zhang, Siffi Singh, Sailik Sengupta, Igor Shalyminov, Hwanjun Song, Hang Su, Saab Mansour

反讽识别

MultiPICo：多语言视角主义反讽语料库
Silvia Casola, Simona Frenda, Soda Marem Lo, Erhan Sezerer, Antonio Uva, Valerio Basile, Cristina Bosco, Alessandro Pedrani, Chiara Rubagotti, Viviana Patti, Davide Bernardi

知识基础

图思维链：通过在图上的推理增强大语言模型
Bowen Jin, Chulin Xie, Jiawei Zhang, Kashob Kumar Roy, Yu Zhang, Zheng Li, Ruirui Li, Xianfeng Tang, Suhang Wang, Yu Meng, Jiawei Han

MATTER：使用异构知识源的记忆增强变换器*
Dongkyu Lee, Chandana Satya Prakash, Jack G. M. FitzGerald, Jens Lehmann

遍历树：一种零样本推理算法，用于通过知识图增强黑盒语言模型
Elan Markowitz, Anil Ramakrishna, Jwala Dhamala, Ninareh Mehrabi, Charith Peris, Rahul Gupta, Kai-Wei Chang, Aram Galstyan

LLM解码

BASS：批量注意力优化的推测采样*
Haifeng Qian, Sujan Gonugondla, Sungsoo Ha, Mingyue Shang, Sanjay Krishna Gouda, Ramesh Nallapati, Sudipta Sengupta, Anoop Deoras

机器翻译

拼写错误查询对翻译和产品搜索的影响
Greg Hanneman, Natawut Monaikul, Taichi Nakatani

微调悖论：提升翻译质量而不牺牲LLM能力
David Stap, Eva Hasler, Bill Byrne, Christof Monz, Ke Tran

模型编辑

传播与陷阱：通过反事实任务的基于推理的知识编辑评估
Wenyue Hua, Jiang Guo, Marvin Dong, Henghui Zhu, Patrick Ng, Zhiguo Wang

模型评估

贝叶斯提示集成：黑盒大语言模型的模型不确定性估计
Francesco Tonolini, Jordan Massiah, Nikolaos Aletras, Gabriella Kazai

ConSiDERS—人类评估框架：重新思考生成式大语言模型的人类评估
Aparna Elangovan, Ling Liu, Lei Xu, Sravan Bodapati, Dan Roth

LLM的事实置信度：关于当前估计器的可靠性和鲁棒性
Matéo Mahaut, Laura Aina, Paula Czarnowska, Momchil Hardalov, Thomas Müller, Lluís Marquez

微调的机器翻译指标在未见领域表现不佳
Vilém Zouhar, Shuoyang Ding, Anna Currey, Tatyana Badeka, Jenyuan Wang, Brian Thompson

测量检索增强生成的问答难度
Matteo Gabburo, Nicolaas Jedema, Siddhant Garg, Leonardo Ribeiro, Alessandro Moschitti

模型鲁棒性

极端未校准与对抗鲁棒性的幻觉
Vyas Raina, Samson Tan, Volkan Cevher, Aditya Rawal, Sheng Zha, George Karypis

多模态模型

CaMML：面向大模型的上下文感知多模态学习器
Yixin Chen, Shuai Zhang, Boran Han, Tong He, Bo Li

基于大语言模型的语音识别的多模态检索
Jari Kolehmainen, Aditya Gourav, Prashanth Gurunath Shivakumar, Yi Gu, Ankur Gandhe, Ariya Rastrow, Grant Strimel, Ivan Bulyko

REFINESUMM：用于生成多模态摘要数据集的自我精炼MLLM
Vaidehi Patil, Leonardo Ribeiro, Mengwen Liu, Mohit Bansal, Markus Dreyer

序数分类

探索文本分类中的序数性：显式与隐式技术的比较研究
Siva Rajesh Kasa, Aniket Goel, Sumegh Roychowdhury, Karan Gupta, Anish Bhanushali, Nikhil Pattisapu, Prasanna Srinivasa Murthy

问答

超越边界：在结构化和非结构化信息源上进行类人问答*
Jens Lehmann, Dhananjay Bhandiwad, Preetam Gattogi, Sahar Vahdati

MinPrompt：基于图的少样本问答最小提示数据增强
Xiusi Chen, Jyun-Yu Jiang, Wei-Cheng Chang, Cho-Jui Hsieh, Hsiang-Fu Yu, Wei Wang

使用自动响应分割从未标记文档合成对话
Fanyou Wu, Weijie Xu, Chandan Reddy, Srinivasan Sengamedu, "SHS"

推理

通过代码从LLM中引发更好的多语言结构化推理
Bryan Li, Tamer Alkhouli, Daniele Bonadiman, Nikolaos Pappas, Saab Mansour

II-MMR：识别和改进视觉问答中的多模态多跳推理*
Jihyung Kil, Farideh Tavazoee, Dongyeop Kang, Joo-Kyung Kim

推荐系统

生成式探索-利用：使用LLM优化器的生成推荐系统的无训练优化
Besnik Fetahu, Zhiyu Chen, Davis Yoshida, Giuseppe Castellucci, Nikhita Vedula, Jason Choi, Shervin Malmasi

将客观产品属性转化为客户语言
Ram Yazdi, Oren Kalinsky, Alexander Libov, Dafna Shahaf

负责任AI

SpeechGuard：探索多模态大语言模型的对抗鲁棒性
Raghuveer Peri, Sai Muralidhar Jayanthi, Srikanth Ronanki, Anshu Bhatia, Karel Mundnich, Saket Dingliwal, Nilaksh Das, Zejiang Hou, Goeric Huybrechts, Srikanth Vishnubhotla, Daniel Garcia-Romero, Sundararajan Srinivasan, Kyu Han, Katrin Kirchhoff

文本补全

通过字符匹配实现子词补全的令牌对齐*
Ben Athiwaratkun, Shiqi Wang, Mingyue Shang, Yuchen Tian, Zijian Wang, Sujan Gonugondla, Sanjay Krishna Gouda, Rob Kwiatkowski, Ramesh Nallapati, Bing Xiang

更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码