基于大语言模型（LLM）的对话问答机器人，已经成为当前人工智能领域学术界和工业界共同关注的的热门研究方向之一。在对话过程中，为大模型引入搜索结果，进行检索增强的生成（Retrieval Augmented Generation，RAG），能够有效缓解大模型的幻觉问题，提升回答质量。尽管 RAG 大幅提升了对话问答的准确率，但是依然存在对检索结果利用不充分，上下文理解错误等具有挑战的问题。

作为中国最具标志性的社交媒体平台之一，小红书集结图片、文字、视频和直播等多种内容形式于一体，一直致力于不断提升用户的搜索体验。2024 年，小红书技术团队联合数据挖掘顶会 WSDM(ACM International Conference on Web Search and Data Mining)，共同发起「WSDM Cup 2024 : 对话式多文档问答挑战赛」，期待各位技术豪杰前来挑战！

本次挑战赛采取线上参与形式，组委会将提供一系列与真实世界数据相关的文档，并根据模型在语义和词汇相关性方面的表现来评估。前三名获胜团队将分别获得 2000 美元、1000 美元和 500 美元的奖金，并被邀请至墨西哥参会，展示其解决方案。

关于 WSDM

WSDM 是信息检索与数据挖掘领域的国际顶级会议，由国际计算机学会(ACM)下属的信息检索(SIGIR)、数据挖掘(SIGKDD)、数据库(SIGMOD)与网络信息处理(SIGWEB)等四个专委会共同举办，涵盖信息检索、数据挖掘、Web 搜索、社交媒体、推荐系统等领域的前沿研究，在互联网搜索和数据挖掘领域拥有极高的学术声誉。第17 届 ACM 国际 WSDM 会议于 2024 年 3 月 4 日至 3 月 8 日在墨西哥举行，WSDM Cup 2024 旨在为全球参赛者提供真实工业环境下开展算法评测和研究的平台。

对话式多文档问答」挑战赛

Conversational Multi-Doc QA

赛题任务

每个月有数以亿计的用户在小红书上分享和发现生活的美好，并在小红书海量笔记中获取相关信息和实用的生活经验。小红书利用先进的 AI 技术，如深度学习及时下流行的大语言模型等，提升用户个性化的互动体验，更好地满足他们对高效、准确信息获取的需求。

在多轮对话场景中，为用户的查询提供准确且全面的回答是一项充满挑战的任务，在本次比赛中，我们将模拟真实的多轮对话场景，提供对话历史、当前查询 query、以及搜索系统检索到的相关笔记。参赛者的系统被要求依据这些输入信息，理解用户查询意图并输出面向查询 query 的文本回答。我们将评估回答的准确性与完善性。通过这个挑战，期待能探索和提高对话系统在面对多轮上下文和多样化搜索结果时，生成更准确，完善回答的能力，更好地理解和满足用户的需求，获取更加高效、准确的信息。

特别说明

模型需要根据对话历史和提供的参考文档来回答用户问题。

输入：历史记录，参考文档，问题。输出：回答。

模型规模要求：确保模型大小不超过 140 亿（14B）参数。整体解决方案将在提交截止日期后进行审查。

赛题议程

● 2023 年 12 月 25 日

赛事启动第一阶段（评估集），开放报名组队。

● 2024 年 2 月 1 日

转入第二阶段（测试集），在该阶段获得的排名将用于确定最终奖项名单。同时，关闭竞赛注册通道。

● 2024 年 2 月 15 日（太平洋时间 23:59）

第二阶段停止提交结果

● 2024 年 3 月 4 日至 8 日

在墨西哥举办 WSDM 2024「对话式多文档问答挑战赛」研讨会，期待前三名获胜团队的分享。

奖项设置

冠军队伍: 一支 ( $2000 )

亚军队伍: 一支 ( $1000 )

季军队伍: 一支 ( $500 )

报名参赛

• 本次大赛面向全社会开放，不限年龄、身份、国籍，相关领域的个人、高等院校、科研机构、企业单位、初创团队等均可报名参赛。
• 大赛主办单位中有机会提前接触赛题和数据的人员不得参加比赛，其他员工可以参与比赛排名，但不可领取任何奖项。
• 评审规则、赛题 Demo、结果提交要求等更多信息可见大赛官网
• 大赛官网：https://sites.google.com/view/wsdm24-docqa/home
• WSDM 2024：https://www.wsdm-conference.org/2024/wsdm-cup

欢迎各路高手同台竞技，期待你的参与！