大型语言模型（LLM）已在自然语言处理领域占据主导地位，这同样也体现在某中心科学家们在本年度自然语言处理实证方法大会（EMNLP）上所展示的研究中。LLM训练是某中心论文数量最多的主题，紧随其后的是旨在减轻LLM输出中错误信息（包括但不限于幻觉）的策略。与此同时，多篇论文将LLM应用于某中心传统上感兴趣的主题，如语音、推荐系统和信息检索。
AI智能体
MARCO：多智能体实时聊天编排
Anubhav Shrimal, Shervin Malmasi, Kriti Biswas, Swarnalatha Raghuraman, Anish Nediyanchath, Yi Zhang, Promod Yenigalla
代码生成
CodeFort：代码生成模型的鲁棒性训练
Yuhao Zhang, Shiqi Wang, Haifeng Qian, Zijian Wang, Mingyue Shang, Linbo Liu, Sanjay Krishna Gouda, Baishakhi Ray, Murali Krishna Ramanathan, Xiaofei Ma, Anoop Deoras
苏格拉底式人类反馈（SoHF）：LLM代码生成的专家引导策略
Subramanian Chidambaram, Erran Li, Min Bai, Xiaopeng LI, Kaixiang Lin, Xiong Zhou, Alex C. Williams
结构化对象语言建模（SoLM）：通过自监督去噪生成符合复杂模式的原生结构化对象
Amir Tavanaei, Kee Kiat Koo, Hayreddin Ceker, Shaobai Jiang, Qi Li, Julien Han, Karim Bouyarmane
对比解码
通过外推一个巨大假设LM的概率来解释和改进对比解码
Haw-Shiuan Chang, Nanyun Peng, Mohit Bansal, Anil Ramakrishna, Tagyoung Chung
数据集成
ASTRA：使用机器翻译进行自动模式匹配
Tarang Chugh, Deepak Zambre
从自然语言解释中学习以实现可泛化的实体匹配
Somin Wadhwa, Adit Krishnan, Runhui Wang, Byron C. Wallace, Chris (Luyang) Kong
在地理空间网络上预训练和微调语言模型以实现精确的地址匹配
Saket Maheshwary, Arpan Paul, Saurabh Sohoney
面向电子商务应用的检索增强拼写纠正
Xuan Guo, Rohit Patki, Dante Everaert, Christopher Potts
数据集蒸馏
通过语言模型嵌入进行文本数据集蒸馏
Yefan Tao, Chris (Luyang) Kong, Andrey Kan, Laurent Callot
文档理解
DocKD：用于开放世界文档理解模型的LLM知识蒸馏
Sungnyun Kim, Haofu Liao, Srikar Appalaraju, Peng Tang, Zhuowen Tu, Ravi Kumar Satzoda, R. Manmatha, Vijay Mahadevan, Stefano Soatto
信息检索
评估部分标注对信息检索的D-MERIT
Royi Rassin, Yaron Fairstein, Oren Kalinsky, Guy Kushilevitz, Nachshon Cohen, Alexander Libov, Yoav Goldberg
识别高关注度的电子商务搜索查询
Zhiyu Chen, Jason Choi, Besnik Fetahu, Shervin Malmasi
在对话式问答中学习何时检索、改写什么以及如何回答
*Nirmal Roy, Leonardo Ribeiro, Rexhina Blloshmi, Kevin Small
自然语言理解
LLM时代的意图检测
Gaurav Arora, Shreya Jain, Srujana Merugu
预测极短文档中的实体显著性
Ben Bullough, Harrison Lundberg, Chen Hu, Weihang Xiao
LLM评估
AXCEL：使用LLM进行自动可解释一致性评估
*P Aditya Sreekar, Sahil Verma, Suransh Chopra, Sarik Ghazarian, Abhishek Persad, Narayanan Sadagopan
仅通过少量观察实现精确的模型基准测试
Riccardo Fogliato, Pratik Patil, Nil-Jana Akpinar, Mathew Monfort
LLM微调
AdaZeta：用于内存高效大型语言模型微调的自适应零阶张量训练适应方法
Yifan Yang, Kai Zhen, Ershad Banijamali, Thanasis Mouchtaris, Zheng Zhang
RoseLoRA：用于知识编辑和微调的预训练语言模型的行列式稀疏低秩适应
Haoyu Wang, Tianci Liu, Ruirui Li, Monica Cheng, Tuo Zhao, Jing Gao
用于语音的LLM
值得语音输出的指令调优语言模型
Hyundong Cho, Nicolaas Jedema, Leonardo Ribeiro, Karishma Sharma, Pedro Szekely, Alessandro Moschitti, Ruben Janssen, Jonathan May
LLM错误信息缓解
ECON：关于证据冲突的检测与解决
Cheng Jiayang, Chunkit Chan, Qianqian Zhuang, Lin Qiu, Tianhang Zhang, Tengxiao Liu, Yangqiu Song, Yue Zhang, Pengfei Liu, Zheng Zhang
用于知识图谱落地对话生成的生成式子图检索
Jinyoung Park, Minseok Joo, Joo-Kyung Kim, Hyunwoo J. Kim
HalluMeasure：使用思维链推理进行细粒度幻觉测量
Shayan Ali Akbar, Md Mosharaf Hossain, Tess Wood, Si-Chi Chin, Erica Salinas, Victor Alvarez, Erwin Cornejo
以知识为中心的幻觉检测
Xiangkun Hu, Dongyu Ru, Lin Qiu, Qipeng Guo, Tianhang Zhang, Yang Xu, Yun Luo, Pengfei Liu, Zheng Zhang, Yue Zhang
LLM推理
Auto-evolve：通过自我推理框架增强大型语言模型的性能
*Krishna Aswani, Alex Lu, Pranav Patankar, Priya Dhalwani, Iris Tan, Jayant Ganeshmohan, Simon Lacasse
LLM自我纠正
使用DeCRIM进行LLM自我纠正：分解、评判和精炼以增强对多重约束指令的遵循
Thomas Palmeira Ferraz, Kartik Mehta, Yu-Hsiang Lin, Haw-Shiuan Chang, Shereen Oraby, Sijia Liu, Vivek Subramanian, Tagyoung Chung, Mohit Bansal, Nanyun Peng
LLM训练
链中起舞：协调语言模型中的指令遵循与忠实性
Zhengxuan Wu, Yuhao Zhang, Peng Qi, Yumo Xu, Rujun Han, Yian Zhang, Jifan Chen, Bonan Min, Zhiheng Huang
DEM：用于混合数据分布训练的分布编辑模型
Dhananjay Ram, Aditya Rawal, Momchil Hardalov, Nikolaos Pappas, Sheng Zha
用于语言模型对齐的进化对比蒸馏
Julian Katz-Samuels, Zheng Li, Hyokun Yun, Priyanka Nigam, Yi Xu, Vaclav Petricek, Bing Yin, Trishul Chilimbi
Hop, skip, jump to convergence: Dynamics of learning rate transitions for improved training of large language models
Shreyas Subramanian, Vignesh Ganapathiraman, Corey Barrett
通过学习成功对话中的相关子目标，使用迭代训练来改进面向任务的对话系统
Magdalena Kaiser, Patrick Ernst, Gyuri Szarvas
质量至关重要：评估用于使用工具的LLM的合成数据
Shadi Iskander, Nachshon Cohen, Zohar Karnin, Ori Shapira, Sofia Tolmach
查询自动补全
AmazonQAC：一个大规模的、自然的查询自动补全数据集
Dante Everaert, Rohit Patki, Tianqi Zheng, Christopher Potts
DiAL：用于查询自动补全的多样性感知列表排序
Sonali Singh, Sachin Farfade, Prakash Mandayam Comar
问答
RAG-QA竞技场：评估长形式检索增强问答的领域鲁棒性
Rujun Han, Yuhao Zhang, Peng Qi, Yumo Xu, Jenyuan Wang, Lan Liu, William Yang Wang, Bonan Min, Vittorio Castelli
使用弱监督检索长形式问答的上下文信息
Philipp Christmann, Svitlana Vakulenko, Ionut Teodor Sorodoc, Bill Byrne, Adrià de Gispert
推荐系统
用于新闻推荐的高效点对点学习排序
Nithish Kannen Senthilkumar, Yao Ma, Gerrit van den Burg, Jean Baptiste Faddoul
PEARL：使用LLM智能体进行偏好提取与样本增强和检索
Vijit Malik, Akshay Jagatap, Vinayak Puranik, Anirban Majumder
用于时尚推荐的序列LLM框架
Han Liu, Xianfeng Tang, Tianlang Chen, Jiapeng Liu, Indu Indu, Henry Peng Zou, Peng Dai, Roberto Fernandez Galan, Mike Porter, Dongmei Jia, Ning Zhang, Lian Xiong
负责任的人工智能
大型语言模型的属性控制微调：关于解毒的案例研究
Tao Meng, Ninareh Mehrabi, Palash Goyal, Anil Ramakrishna, Aram Galstyan, Richard Zemel, Kai-Wei Chang, Rahul Gupta, Charith Peris
FLIRT：上下文红队中的反馈循环
Ninareh Mehrabi, Palash Goyal, Christophe Dupuy, Qian Hu, Shalini Ghosh, Richard Zemel, Kai-Wei Chang, Aram Galstyan, Rahul Gupta
LLM成员推理的数量级加速
Rongting Zhang, Martin Bertran Lopez, Aaron Roth
合成数据生成
CorrSynth：一种用于从LLM生成多样化数据集的关联采样方法
Suhas Kowshik, Abhishek Divekar, Vijit Malik
DATA ADVISOR：用于大型语言模型安全对齐的动态数据管理
Fei Wang, Ninareh Mehrabi, Palash Goyal, Rahul Gupta, Kai-Wei Chang, Aram Galstyan
评估高风险领域中的差分隐私合成数据生成
Krithika Ramesh, Nupoor Gandhi, Pulkit Madaan, Lisa Bauer, Charith Peris, Anjalie Field
SYNTHESIZRR：通过检索增强生成多样化数据集
Abhishek Divekar, Greg Durrett
文本分类
预训练语言模型的距离感知校准
*Alberto Gasparin, Gianluca Detommaso
性能引导的LLM知识蒸馏，用于大规模高效文本分类
Flavio Di Palo, Prateek Singhi, Bilal Fadlallah
提示调整的多任务分类学转换器（PTMTTaxoFormer）
Rajashekar Vasantha, Nhan Nguyen, Yue Zhang
文本摘要
通过显著性信息提示来引导基于提示的抽象摘要的内容
Lei Xu, Asad Karim, Saket Dingliwal, Aparna Elangovan
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
公众号二维码
公众号二维码
