目录一、问答系统应用分析二、搜索问答技术与系统一需求和信息分析问答需求类型多样的数据源文本组织形态二主要问答技术介绍发展和成熟度分析重点问答技术基础KBQA和DeepQAKBQA基于知识图谱的问答DeepQA深度问答机器阅读理解Machine Reading ComprehensionMRC三系统整体架构三、KBQA基于知识图谱的问答系统一图谱数据与检索数据更新方向直接三元组索引查询通过图数据库存储检索二语义解析三深度学习扩展汉语诗词类、单实体类、多实体关系类四、DeepQA基于搜索机器阅读理解的问答系统一基本背景分析二短答案MRC基本功能面临挑战搜索结果噪声过多面临挑战答案出现常识性错误面临挑战鲁棒性问题面临挑战答案归一化和多span问题三长答案MRC基本功能长答案MRC-组合式问答长答案MRC-判断类观点问答五、总结主要学习资料干货分享感谢您的阅读在这个信息如洪水般涌来的时代大家是否曾经有过这样的体验在网上搜索一个问题结果得到的信息比你家里打翻的书架还要杂乱无章你想要一个简单明了的答案却像是在寻找针掉进了大海。别担心我们不是要给你送来一艘救生艇而是要带你潜入深海探索搜索问答技术的奇妙世界本文将为你揭开搜索问答的神秘面纱带你了解如何通过知识图谱和机器阅读理解MRC这两位“智能助手”将复杂的信息变得井井有条。就像你身边的“超级无敌万能学霸”无论问题多刁钻它们都能帮你轻松搞定。准备好了吗让我们一起开始这场信息寻宝之旅吧背景重点学习来源于QQ浏览器搜索中的智能问答技术一、问答系统应用分析问答的核心是通过理解语言和运用知识来进行提问和回答。从应用角度看由于人类有获取信息的需求和旺盛的好奇心问答的场景无处不在从研究角度看问答是认知智能的前沿之一。问答系统在搜索中有广泛的应用它们可以提高信息检索的效率和质量。以下是问答在搜索中的应用自然语言搜索传统搜索引擎主要依赖于关键词匹配但自然语言搜索允许用户提出问题而不仅仅是关键词。问答系统可以理解用户的问题并返回相关的答案这提供了更直观、准确的搜索体验。信息检索问答系统可以根据用户的问题提供相关的文档、文章或网页。它们可以分析问题并从大量文本数据中筛选出最相关的信息帮助用户更快速地找到他们需要的内容。智能助手问答系统被用作虚拟助手比如Siri、Google Assistant和Alexa。用户可以通过语音提问系统会理解问题并提供相应的答案或执行任务如设置提醒、发送消息等。知识图谱问答系统被用于构建知识图谱这是一个结构化的知识数据库其中包含实体、属性和关系。用户可以通过问答来探索和查询知识图谱以获取相关信息。专业领域搜索在专业领域问答系统可以用于检索专门领域的知识如医学、法律、科学等。这些系统可以帮助专业人士快速获得专业领域的答案和信息。智能客服问答系统被用于网站和应用的在线客服功能。它们可以回答常见问题提供支持和解决问题以减轻人工客服的负担。教育和培训问答系统可以用于在线教育平台帮助学生提出问题并获取关于课程内容的答案。它们还可以用于培训材料的检索和解释。社交媒体一些社交媒体平台使用问答系统来推荐内容、回答用户的问题并提供个性化建议。智能搜索引擎问答系统可以提高搜索引擎的智能程度使其更好地理解用户的意图提供更精确的搜索结果。总之问答系统在搜索中的应用为用户提供了更智能、更个性化的信息检索体验有助于满足用户的知识需求。这些系统利用自然语言处理和人工智能技术不断改进和扩展其功能以适应不同领域和用户需求。二、搜索问答技术与系统为满足搜索中问答的需求现代搜索引擎和问答系统需要结合自然语言处理、信息检索和数据整合技术。它们必须能够理解用户问题、从各种数据源中检索信息分析和排名答案并以用户友好的方式呈现结果。这个领域的不断发展和创新旨在提供更准确、全面和个性化的搜索体验。一需求和信息分析问答需求类型25%的明确需求占比表明了用户在搜索过程中经常需要具体的答案而不仅仅是相关的文本或链接。这种需求可以涵盖各种领域和问题类型包括事实类问题如今天的天气如何和非事实类问题如如何减肥。多样的数据源问答系统需要访问和整合多种数据源包括网页、UGC用户生成内容和PGC专业生成内容。这意味着系统必须能够检索、理解和分析不同来源的信息以满足用户需求。文本组织形态数据的组织形态可以分为结构化、半结构化和无结构化。不同类型的数据需要不同的处理方法。结构化数据如知识图谱通常更容易处理因为信息有明确的格式和关系。半结构化数据如社区问答对通常有一定的格式和模式但可能不如结构化数据那么严格。无结构化数据如普通网页文本最具挑战性因为信息通常以自由文本形式存在需要自然语言处理技术来理解和提取信息。二主要问答技术介绍发展和成熟度分析搜索中的问答技术一直处于不断发展和成熟的阶段这是一个涵盖多个领域的综合性领域包括自然语言处理、信息检索、知识图谱和机器学习。以下是搜索中问答技术的发展和成熟度的整体介绍总体而言搜索中的问答技术在不断演化以满足用户对信息检索的更高期望。它们结合了多个领域的知识和技术包括自然语言处理、机器学习、知识图谱等。未来随着技术的不断发展搜索中的问答技术将变得更加精确、全面和个性化以满足用户的知识需求。重点问答技术基础KBQA和DeepQAKBQA和DeepQA是两种不同类型的问答技术它们分别用于处理不同种类的数据和问题需求。KBQA基于知识图谱的问答数据类型KBQA主要针对结构化数据其基础是离线构建的知识图谱其中包含实体、属性和关系的信息。工作流程KBQA系统通过问题解析将用户提出的问题映射到知识图谱上的实体、关系和属性然后执行图谱查询和推理以获取答案。应用范围KBQA系统适用于事实类问题因为知识图谱主要包含关于实体之间的事实性信息如谁是美国第一位总统。DeepQA深度问答数据类型DeepQA技术可以处理更广泛的非结构化数据半结构化和无结构化包括各种文本来源如网页、文档和用户生成内容。工作流程DeepQA系统依赖离线构建的问答内容使用机器学习和自然语言处理技术通过搜索引擎获取候选文档然后使用机器阅读理解技术来抽取答案。应用范围DeepQA技术更灵活可以解决更多不同类型的问题需求包括事实类问题和非事实类问题因为它可以处理多样性的文本数据。在实际应用中可以根据具体需求构建不同类型的DeepQA系统独立检索系统这种系统依赖于高质量的问答数据源以提供准确的答案。它可以用于特定领域或垂直市场以提供深度问题回答。通用问答系统这种系统结合了在线搜索和机器阅读理解技术能够处理广泛的问题通过搜索引擎获得相关文档并从中提取答案。端到端问答系统这种系统更为综合可以处理多模态输入如文本、图片、语音并提供更综合的问题解答服务。总之KBQA和DeepQA都是重要的问答技术它们分别适用于不同类型的数据和问题场景以满足用户多样化的信息需求。在实际应用中可以根据需求选择合适的技术和系统。机器阅读理解Machine Reading ComprehensionMRC当涉及到深度问答DeepQA时机器阅读理解Machine Reading ComprehensionMRC是其中一个核心组成部分因为它为系统提供了能力来理解文本并从中提取答案。以下是有关MRC的一些关键方面MRC的工作原理MRC系统旨在使计算机能够像人类一样阅读文本并回答问题。它们使用自然语言处理技术将问题和文本进行匹配然后定位并抽取文本中的答案。这通常涉及到命名实体识别、实体关系抽取、句法分析等技术。训练数据MRC系统通常需要大量的标记数据包括问题和对应的答案以便进行机器学习。这些数据可以来自各种来源包括人工标注的数据集和已有的文本文档。多样性MRC系统需要处理多样性的文本包括新闻文章、百科全书、科技文档、小说等各种领域和风格的文本。应用领域MRC技术可应用于多个领域包括搜索引擎、虚拟助手、教育、医疗保健、法律等。它们可以用于回答关于这些领域的问题提供更好的信息检索和交互体验。评估MRC系统的性能通常使用标准的评估指标如准确性、召回率、F1分数等来衡量。这些系统经常参与自然语言处理和机器学习竞赛如SQuADStanford Question Answering Dataset。总的来说MRC是深度问答系统中的一个关键组件使系统能够理解文本并提取答案从而为用户提供精确的问题回答。它是问答技术中的一个重要发展方向将自然语言处理和信息检索融合在一起以改进搜索和问题解答的能力。三系统整体架构离线部分是问答内容的构建和理解比如对专业生产内容做质量和权威性分析、从全网数据中进行问答对的挖掘和选取等数据源包括网页库、优质问答库和知识图谱在线部分包括搜索问答结果的召回和排序、段落匹配和答案抽取、知识图谱检索和推理计算等以及问答融合决策从多源结果中决定最终展现给用户的答案。三、KBQA基于知识图谱的问答系统一图谱数据与检索图谱问答系统的数据依据不同实体更新的要求分为三路数据通过直接的三元组索引查询或者图数据库存储检索系统应用。数据更新方向对于图谱问答系统数据更新通常可以分为以下三个主要方向自动更新这是一种基于自动化流程的数据更新方式其中系统可以定期或实时地从各种数据源获取信息并将其整合到知识图谱中。这可以包括爬虫程序从互联网上抓取新的信息或从结构化数据源例如数据库中自动更新知识图谱。自动更新确保了知识图谱的及时性和准确性。半自动更新在这种方式下数据更新涉及人工干预但仍采用自动化工具来辅助。人类操作者可能需要审核、编辑或标注从外部源获得的数据以确保数据的质量和一致性。半自动更新方法通常用于需要高度精准性和可控性的知识图谱。手动更新手动更新是最传统的数据更新方式其中数据管理人员或领域专家负责手动添加、编辑和删除知识图谱中的实体和关系。手动更新通常用于小规模的知识图谱或需要高度人工干预的情况例如专业领域的图谱。这三种更新方式可以根据知识图谱的规模、复杂性和数据源的特点选择和组合。对于大规模知识图谱通常采用自动或半自动更新来确保及时性和数据完整性而手动更新可能更适合小规模、专业领域或需要高度精准性的场景。直接三元组索引查询直接使用三元组索引查询知识图谱的方式是知识图谱问答系统中常见的数据检索方式。在这种方法中知识图谱中的数据以三元组的形式存储每个三元组包含实体、属性和值例如 (巴黎, 是首都, 法国)。用户提出问题时系统会直接查询这些三元组以找到与问题相关的信息。这种方式的主要特点包括直接查询查询是基于三元组的实际数据因此系统可以直接与知识图谱中的实体和关系交互。高度结构化由于数据以结构化形式存储这种方法适合于处理事实类问题如 法国的首都是什么。高效性三元组索引通常可以实现高效的查询尤其是在知识图谱数据的规模较小的情况下。这种方法适用于需要高度结构化和精确答案的问题。然而它可能不够灵活难以处理非结构化文本的问题如用户以自然语言形式提出的开放性问题。为了满足更广泛的问题需求某些系统可能结合其他技术如自然语言处理和机器阅读理解以在更复杂的情境中提供答案。通过图数据库存储检索数据存储在图数据库中并通过图数据库来进行检索的方法同时还应用了图数据库技术。这种方法在知识图谱的构建和问答系统中相当常见。以下是一些相关特点图数据库存储在这种方法中知识图谱的数据以图形结构的方式存储在专门的图数据库中。图数据库可以有效地表示实体、关系和属性以及它们之间的连接。图数据库查询当用户提出问题时系统可以使用图数据库的查询语言来检索相关的实体、关系和属性。这通常涉及到图的遍历和查询操作以查找与问题相关的数据。关系和推理图数据库允许进行复杂的关系分析和推理。系统可以通过图数据库来查找实体之间的路径、计算关系的权重甚至执行一些基本的推理操作。适用性这种方法更适合需要处理复杂关系和多步问题的问答系统。它适用于专业领域、复杂推理和知识图谱中的非平凡问题。性能图数据库的性能通常较好特别是当需要执行复杂的查询和关系分析时。这使得它适用于大规模知识图谱的情况。通过将图数据库与知识图谱问答系统相结合系统能够更有效地处理知识图谱中的关系和实体提供更复杂的问题解答服务。这种方法使得知识图谱问答系统能够进行高级的关系分析和推理从而更全面地回答用户的问题。二语义解析在线图谱问答的流水线之一是语义解析的方法系统先对查询进行领域分类以装配不同类型的处理流程例如汉语诗词类、单实体类、多实体关系类然后对查询进行语法树分析和形式逻辑规约在三元组中递归查询和拼装得到最终答案。该方法的优点是支持一些复杂的查询推理且在规则适用的范畴内准确率较高。在线图谱问答流水线涉及了多个关键步骤包括领域分类、语法树分析、形式逻辑规约和三元组查询。这些步骤有助于系统理解用户查询并从知识图谱中检索相关信息以生成答案。以下是这些步骤的详细解释领域分类首先系统对用户的查询进行领域分类。这是为了确定用户查询的主题或领域以便装配适当的处理流程。不同领域可能需要不同的处理方法因此领域分类有助于系统选择正确的处理策略。语法树分析一旦系统确定了查询的领域它会对用户的查询进行语法树分析。这个步骤涉及将自然语言查询分解成一个结构化的语法树其中包括词汇、短语和语法关系。语法树分析有助于系统理解查询的结构和含义。形式逻辑规约接下来系统进行形式逻辑规约将自然语言查询转化为逻辑表示。这有助于系统将用户查询与知识图谱中的数据进行匹配。规约过程可以包括识别实体、属性和关系并将它们映射到知识图谱中的对应项。三元组查询和拼装一旦查询被规约为逻辑表示系统可以进行三元组查询。这意味着系统会递归地查询知识图谱中的三元组以找到与查询匹配的数据。系统会检索包含所需信息的三元组然后逐步拼装这些信息以生成最终答案。这可能涉及到多次查询和关系的拼接。整个流水线的目标是将用户自然语言查询转化为结构化查询然后使用查询引擎从知识图谱中检索相关信息最终生成准确的答案。这种方法允许系统处理各种类型的查询包括事实类问题、关系查询和复杂的问题需求。它结合了自然语言处理和知识图谱检索技术以提供高效的问答服务。三深度学习另一种流水线是基于深度学习的方法系统首先识别出具有问答意图的查询然后通过深度模型识别查询问题中的实体对实体属性和查询表达进行深度语义匹配映射计算出候选结果并进行清洗和排序得到答案。该方法的优点是对查询语义理解较好泛化性强召回率较高。这种基于深度学习的流水线方法是现代问答系统中的常见方式它结合了自然语言处理和机器学习技术以理解用户的查询并生成答案。以下是关于这一方法的详细解释识别问答意图流水线的第一步是识别用户查询的意图以确定用户是否正在寻找特定的答案或信息。这可以通过自然语言处理技术和深度学习模型来实现例如递归神经网络RNN或卷积神经网络CNN。实体识别一旦系统确定了用户的意图它会使用深度学习模型来识别查询中的实体。这可以包括命名实体识别NER其中系统尝试标识出查询中的特定名词、地点、日期等。深度语义匹配接下来系统会进行深度语义匹配以理解查询中的实体、属性和关系。这可能涉及到使用深度学习模型来将用户查询与知识图谱中的数据进行语义匹配以找到最相关的信息。候选结果计算系统会计算候选结果这些结果可能包括多个可能的答案。深度学习模型通常用于计算答案的置信度和相关性。清洗和排序最后系统会对候选答案进行清洗和排序以确定最终的答案。这可以包括排除不相关的结果、处理模棱两可的查询和根据答案的可信度进行排序。这种深度学习流水线方法允许系统自动从大规模的文本和知识库中提取信息以满足用户的需求。这种方法具有适应性能够处理各种查询类型包括事实类问题和非事实类问题因为它强调了语义理解和深度匹配。深度学习模型通常需要大量的训练数据和计算资源以便在多样化的查询中表现良好。扩展汉语诗词类、单实体类、多实体关系类汉语诗词类、单实体类 和 多实体关系类 是不同类型的查询或问答类别这些类别在问答系统中需要不同的处理方式汉语诗词类这是一种问答类别涉及回答与汉语诗歌和文学相关的问题。这些问题可能包括要求识别、解释或引用古代或现代汉语诗歌的内容、作者和背景。对于汉语诗词类问题系统需要具有文学知识和文化理解能力以回答与汉诗相关的问题。单实体类单实体类问题是那些与单个实体通常是一个名词或专有名词相关的问题。这类问题可能包括实体的定义、属性、特征或与实体相关的其他信息。例如巴黎是哪个国家的首都 是一个单实体类问题其中实体是 巴黎。多实体关系类多实体关系类问题涉及多个实体之间的关系或交互。这些问题可能需要系统理解和分析多个实体之间的关系以提供答案。例如谁是巴黎的市长 是一个多实体关系类问题其中涉及 巴黎城市和 市长职位之间的关系。每种类别的问题都需要不同的处理策略和语义解析方法。对于汉语诗词类问题需要文学知识和语言处理技巧对于单实体类问题需要实体识别和属性提取对于多实体关系类问题需要理解实体之间的关系和进行复杂的语义匹配。因此问答系统需要能够分类和处理这些不同类型的问题以提供准确的答案。四、DeepQA基于搜索机器阅读理解的问答系统一基本背景分析早期的DeepQA系统具有非常复杂的流水线例如IBM的Waston以及2017年第一版“立知“问答。系统包括多个数据挖掘和机器学习模块在问题分析、答案候选的特征抽取、评分排序等诸多环节都可能有错误的传播和积累可扩展性不强。2017年以后斯坦福的陈丹琦等人提出了一个面向规模文档集的开放域问答系统——DrQA系统定义了一种新的开放域问答实现方式即通过检索和深度机器阅读理解MRC产生答案。在SQuAD等公开数据集和评测的推动下深度机器阅读理解发展迅速在查询和文档语义建模、上下文信息交互建模、答案抽取和预测方式建模上都不断涌现新的方法2019年机器阅读理解系统甚至在事实类问答上超过了人类水平。然而在真实的搜索场景中DeepQA仍然面临着很多挑战。首先是用户的需求纷繁复杂表达方式也千差万别而互联网数据规模巨大需求检索匹配的难度很大。其次是网页数据多种多样页面类型和格式繁多、质量参差、答案的形式不一机器阅读理解面临较大的挑战。二短答案MRC基本功能短答案机器阅读理解MRC任务的定义是从搜索结果的多个文档中抽取唯一的答案片段同时提供支持答案的文本来源。这一任务旨在让机器理解自然语言问题并从大规模文本语料库中定位并提取与问题相关的答案片段从而为用户提供准确的答案并展示答案来自哪些文本资源或文档。短答案MRC任务通常用于评估机器理解自然语言的能力和信息检索技术的效果。面临挑战搜索结果噪声过多噪声包括不相关结果、不一致答案等。短答案抽取模型是一个多文档段落抽取的模型将搜索排名topN常用N10的文档段落输入到BERT中进行表示建模然后预测段落中答案的起始位置。为了解决输入文档不相关的问题将“答案存在性判别”和“答案起止位置预测”两个目标进行联合训练为了应对各文档的答案不一致问题们加入了多文档交互将多个文档中包含答案概率最大的片段拼接起来进行建模信息融合之后再预测文档包含答案的概率。面临挑战答案出现常识性错误常识性错误即模型输出无意义答案例如边界错误、答案类型错误。优化做法是引入一些外部知识例如百科、知识图谱等给候选文档中符合答案类型的实体打上特殊的标记在建模过程中加强对它们的关注。面临挑战鲁棒性问题鲁棒性问题指的是由于过拟合导致模型输出不稳定。Dropout是一种有效的减少过拟合的方式但它的缺点是不能保持输出的一致性。优化应用了R-Drop通过将Dropout作用于输出层降低了训练和测试的不一致性同时引入对称KL散度作为正则项增强了输出的稳定性。在实验过程中发现对输出层使用两次dropout效果较好。此外还对训练数据进行了同语义问题的数据增强加入相同语义query下的段落输出部分的KL-Loss增强了模型的稳定性。面临挑战答案归一化和多span问题在抽取式阅读理解中由于多文档表述的不一致往往会遇到答案归一化的问题比如“安全带使用期限是几年”的问题答案可能有“3到5年”、“3年至5年等”而且还有答案并不是连续判断比如“沉鱼落雁指的是谁”这个问题中答案可能对应文档中两个片段span。为了解决上述问题我们尝试用生成式阅读理解方法以Fusion-in-DecoderFiD为例将检索得到的多文档分别进行编码表示拼接起来输入到decoder生成统一的答案。实践中利用大规模点击日志文档生成查询进行预训练利用短答案日志构建大量弱监督数据进行自训练有效提升了生成式阅读理解的效果。由于生成模型输出的答案得分其实是语言模型的困惑度不能很好地刻画答案本身的置信度我们训练了一个生成答案的置信度预测模型对答案输出进行决策。三长答案MRC基本功能长答案机器阅读理解MRC任务类似于短答案MRC但在答案的形式上有所不同。在长答案MRC任务中系统需要从大规模文本语料库中寻找较长的文本段落而不仅仅是短答案片段。具体来说长答案MRC任务的定义如下长答案MRC任务是从一组文档中针对给定的自然语言问题寻找并提取包含详细信息、较长文本段落作为答案。这些文本段落通常包括更广泛的背景信息以回应问题而不仅仅是简短的答案片段。系统需要确定哪些段落包含与问题相关的信息并将它们提供给用户作为答案。长答案MRC任务更侧重于理解问题的上下文和信息背景并从大规模文本语料库中检索和提取包含详细信息的文本段落。这种任务在需要更详细解释和推理的问题情境中非常有用例如提供关于某一主题的全面解释或包含多个方面的答案。长答案MRC任务通常要求系统在更广泛的文本背景中查找答案这对于信息检索和自然语言理解领域的进展具有重要意义。长答案MRC-组合式问答针对长答案包含信息量大、不连续的特点提出了一种“组合式问答”的任务形式从搜索结果的单个文档中抽取出一组片段来合成精选摘要答案。任务输入为给定问题和文档的完整片段组合输出为答案片段组合。评价方式为片段预测的F1和人工评价相结合。组合式问答模型的整体框架基于BERT输入是问题和进行了启发式分句的文档句子序列输出是每个句子是否是答案的概率。引入了两个非常有用的设计具体见参考文章即可第一个是引入页面的结构信息。由于网页的HTML能够一定程度上反映页面结构、文本关联以及展示内容的重要度等特征我们选择了部分网页标签作为符号输入到模型中。第二个是引入针对性的预训练任务。—般预训练都是建模句子级别的关系没有有效挖掘文档结构的信息我们引入了两类相关的预训练任务一类是问题选择QS即随机替换一个问题并预测另一类是节点选择NS可以对句子和符号进行随机替换或打乱顺序。这样的预训练任务可以让模型更深刻地理解问题和长文本的内容。长答案MRC-判断类观点问答对于判断类观点问答任务考虑到用户不会仅仅满足于论断而会更关心论据设计了一个模型首先抽取能够回答问题的长答案即论据然后根据该论据做论断的分类产生一个短答案。模型的整体结构是基于长答案模型结构的改进在抽取长答案的同时将query、title和长答案抽取过程中最高概率答案句拼接起来输入判断模块。通过论据抽取和论点分类两个目标的联合学习模型可以解决短答案抽取无法解决的问题。比如在下图的例子中对于“把兔子关在笼子里好吗”这个问题短答案抽取并不能直接抽取出“好”或者“不好”的答案片段而通过分类可以知道它是一个否定的回答。五、总结在今天这个信息爆炸的时代搜索问答技术的重要性日益凸显。通过结合知识图谱和机器阅读理解MRC我们不仅能够高效地获取信息还能为用户提供更加精准和个性化的回答。这种技术的进步使得我们的搜索体验更加顺畅仿佛在与一位智慧无比的助手对话。通过本文的探讨我们看到知识图谱帮助我们构建了一个更加清晰的知识框架使得信息不再是孤立的岛屿而是相互连接的海洋。而机器阅读理解则为我们带来了更深层次的理解让机器能够“读懂”文本背后的含义而不仅仅是表面的字句。总之搜索问答技术的不断进步正如同为人类的智慧加上了一双翅膀让我们在知识的天空中自由翱翔。未来这些技术将继续演进期待它们能为我们带来更惊喜的搜索体验。让我们拭目以待主要学习资料全面解读QQ浏览器搜索中的智能问答技术-腾讯云开发者社区-腾讯云 主要学习来源访问ACM Digital LibraryACM数字图书馆以查找计算机科学和信息检索领域的相关文章
搜索问答技术概述：基于知识图谱与MRC的创新应用
目录一、问答系统应用分析二、搜索问答技术与系统一需求和信息分析问答需求类型多样的数据源文本组织形态二主要问答技术介绍发展和成熟度分析重点问答技术基础KBQA和DeepQAKBQA基于知识图谱的问答DeepQA深度问答机器阅读理解Machine Reading ComprehensionMRC三系统整体架构三、KBQA基于知识图谱的问答系统一图谱数据与检索数据更新方向直接三元组索引查询通过图数据库存储检索二语义解析三深度学习扩展汉语诗词类、单实体类、多实体关系类四、DeepQA基于搜索机器阅读理解的问答系统一基本背景分析二短答案MRC基本功能面临挑战搜索结果噪声过多面临挑战答案出现常识性错误面临挑战鲁棒性问题面临挑战答案归一化和多span问题三长答案MRC基本功能长答案MRC-组合式问答长答案MRC-判断类观点问答五、总结主要学习资料干货分享感谢您的阅读在这个信息如洪水般涌来的时代大家是否曾经有过这样的体验在网上搜索一个问题结果得到的信息比你家里打翻的书架还要杂乱无章你想要一个简单明了的答案却像是在寻找针掉进了大海。别担心我们不是要给你送来一艘救生艇而是要带你潜入深海探索搜索问答技术的奇妙世界本文将为你揭开搜索问答的神秘面纱带你了解如何通过知识图谱和机器阅读理解MRC这两位“智能助手”将复杂的信息变得井井有条。就像你身边的“超级无敌万能学霸”无论问题多刁钻它们都能帮你轻松搞定。准备好了吗让我们一起开始这场信息寻宝之旅吧背景重点学习来源于QQ浏览器搜索中的智能问答技术一、问答系统应用分析问答的核心是通过理解语言和运用知识来进行提问和回答。从应用角度看由于人类有获取信息的需求和旺盛的好奇心问答的场景无处不在从研究角度看问答是认知智能的前沿之一。问答系统在搜索中有广泛的应用它们可以提高信息检索的效率和质量。以下是问答在搜索中的应用自然语言搜索传统搜索引擎主要依赖于关键词匹配但自然语言搜索允许用户提出问题而不仅仅是关键词。问答系统可以理解用户的问题并返回相关的答案这提供了更直观、准确的搜索体验。信息检索问答系统可以根据用户的问题提供相关的文档、文章或网页。它们可以分析问题并从大量文本数据中筛选出最相关的信息帮助用户更快速地找到他们需要的内容。智能助手问答系统被用作虚拟助手比如Siri、Google Assistant和Alexa。用户可以通过语音提问系统会理解问题并提供相应的答案或执行任务如设置提醒、发送消息等。知识图谱问答系统被用于构建知识图谱这是一个结构化的知识数据库其中包含实体、属性和关系。用户可以通过问答来探索和查询知识图谱以获取相关信息。专业领域搜索在专业领域问答系统可以用于检索专门领域的知识如医学、法律、科学等。这些系统可以帮助专业人士快速获得专业领域的答案和信息。智能客服问答系统被用于网站和应用的在线客服功能。它们可以回答常见问题提供支持和解决问题以减轻人工客服的负担。教育和培训问答系统可以用于在线教育平台帮助学生提出问题并获取关于课程内容的答案。它们还可以用于培训材料的检索和解释。社交媒体一些社交媒体平台使用问答系统来推荐内容、回答用户的问题并提供个性化建议。智能搜索引擎问答系统可以提高搜索引擎的智能程度使其更好地理解用户的意图提供更精确的搜索结果。总之问答系统在搜索中的应用为用户提供了更智能、更个性化的信息检索体验有助于满足用户的知识需求。这些系统利用自然语言处理和人工智能技术不断改进和扩展其功能以适应不同领域和用户需求。二、搜索问答技术与系统为满足搜索中问答的需求现代搜索引擎和问答系统需要结合自然语言处理、信息检索和数据整合技术。它们必须能够理解用户问题、从各种数据源中检索信息分析和排名答案并以用户友好的方式呈现结果。这个领域的不断发展和创新旨在提供更准确、全面和个性化的搜索体验。一需求和信息分析问答需求类型25%的明确需求占比表明了用户在搜索过程中经常需要具体的答案而不仅仅是相关的文本或链接。这种需求可以涵盖各种领域和问题类型包括事实类问题如今天的天气如何和非事实类问题如如何减肥。多样的数据源问答系统需要访问和整合多种数据源包括网页、UGC用户生成内容和PGC专业生成内容。这意味着系统必须能够检索、理解和分析不同来源的信息以满足用户需求。文本组织形态数据的组织形态可以分为结构化、半结构化和无结构化。不同类型的数据需要不同的处理方法。结构化数据如知识图谱通常更容易处理因为信息有明确的格式和关系。半结构化数据如社区问答对通常有一定的格式和模式但可能不如结构化数据那么严格。无结构化数据如普通网页文本最具挑战性因为信息通常以自由文本形式存在需要自然语言处理技术来理解和提取信息。二主要问答技术介绍发展和成熟度分析搜索中的问答技术一直处于不断发展和成熟的阶段这是一个涵盖多个领域的综合性领域包括自然语言处理、信息检索、知识图谱和机器学习。以下是搜索中问答技术的发展和成熟度的整体介绍总体而言搜索中的问答技术在不断演化以满足用户对信息检索的更高期望。它们结合了多个领域的知识和技术包括自然语言处理、机器学习、知识图谱等。未来随着技术的不断发展搜索中的问答技术将变得更加精确、全面和个性化以满足用户的知识需求。重点问答技术基础KBQA和DeepQAKBQA和DeepQA是两种不同类型的问答技术它们分别用于处理不同种类的数据和问题需求。KBQA基于知识图谱的问答数据类型KBQA主要针对结构化数据其基础是离线构建的知识图谱其中包含实体、属性和关系的信息。工作流程KBQA系统通过问题解析将用户提出的问题映射到知识图谱上的实体、关系和属性然后执行图谱查询和推理以获取答案。应用范围KBQA系统适用于事实类问题因为知识图谱主要包含关于实体之间的事实性信息如谁是美国第一位总统。DeepQA深度问答数据类型DeepQA技术可以处理更广泛的非结构化数据半结构化和无结构化包括各种文本来源如网页、文档和用户生成内容。工作流程DeepQA系统依赖离线构建的问答内容使用机器学习和自然语言处理技术通过搜索引擎获取候选文档然后使用机器阅读理解技术来抽取答案。应用范围DeepQA技术更灵活可以解决更多不同类型的问题需求包括事实类问题和非事实类问题因为它可以处理多样性的文本数据。在实际应用中可以根据具体需求构建不同类型的DeepQA系统独立检索系统这种系统依赖于高质量的问答数据源以提供准确的答案。它可以用于特定领域或垂直市场以提供深度问题回答。通用问答系统这种系统结合了在线搜索和机器阅读理解技术能够处理广泛的问题通过搜索引擎获得相关文档并从中提取答案。端到端问答系统这种系统更为综合可以处理多模态输入如文本、图片、语音并提供更综合的问题解答服务。总之KBQA和DeepQA都是重要的问答技术它们分别适用于不同类型的数据和问题场景以满足用户多样化的信息需求。在实际应用中可以根据需求选择合适的技术和系统。机器阅读理解Machine Reading ComprehensionMRC当涉及到深度问答DeepQA时机器阅读理解Machine Reading ComprehensionMRC是其中一个核心组成部分因为它为系统提供了能力来理解文本并从中提取答案。以下是有关MRC的一些关键方面MRC的工作原理MRC系统旨在使计算机能够像人类一样阅读文本并回答问题。它们使用自然语言处理技术将问题和文本进行匹配然后定位并抽取文本中的答案。这通常涉及到命名实体识别、实体关系抽取、句法分析等技术。训练数据MRC系统通常需要大量的标记数据包括问题和对应的答案以便进行机器学习。这些数据可以来自各种来源包括人工标注的数据集和已有的文本文档。多样性MRC系统需要处理多样性的文本包括新闻文章、百科全书、科技文档、小说等各种领域和风格的文本。应用领域MRC技术可应用于多个领域包括搜索引擎、虚拟助手、教育、医疗保健、法律等。它们可以用于回答关于这些领域的问题提供更好的信息检索和交互体验。评估MRC系统的性能通常使用标准的评估指标如准确性、召回率、F1分数等来衡量。这些系统经常参与自然语言处理和机器学习竞赛如SQuADStanford Question Answering Dataset。总的来说MRC是深度问答系统中的一个关键组件使系统能够理解文本并提取答案从而为用户提供精确的问题回答。它是问答技术中的一个重要发展方向将自然语言处理和信息检索融合在一起以改进搜索和问题解答的能力。三系统整体架构离线部分是问答内容的构建和理解比如对专业生产内容做质量和权威性分析、从全网数据中进行问答对的挖掘和选取等数据源包括网页库、优质问答库和知识图谱在线部分包括搜索问答结果的召回和排序、段落匹配和答案抽取、知识图谱检索和推理计算等以及问答融合决策从多源结果中决定最终展现给用户的答案。三、KBQA基于知识图谱的问答系统一图谱数据与检索图谱问答系统的数据依据不同实体更新的要求分为三路数据通过直接的三元组索引查询或者图数据库存储检索系统应用。数据更新方向对于图谱问答系统数据更新通常可以分为以下三个主要方向自动更新这是一种基于自动化流程的数据更新方式其中系统可以定期或实时地从各种数据源获取信息并将其整合到知识图谱中。这可以包括爬虫程序从互联网上抓取新的信息或从结构化数据源例如数据库中自动更新知识图谱。自动更新确保了知识图谱的及时性和准确性。半自动更新在这种方式下数据更新涉及人工干预但仍采用自动化工具来辅助。人类操作者可能需要审核、编辑或标注从外部源获得的数据以确保数据的质量和一致性。半自动更新方法通常用于需要高度精准性和可控性的知识图谱。手动更新手动更新是最传统的数据更新方式其中数据管理人员或领域专家负责手动添加、编辑和删除知识图谱中的实体和关系。手动更新通常用于小规模的知识图谱或需要高度人工干预的情况例如专业领域的图谱。这三种更新方式可以根据知识图谱的规模、复杂性和数据源的特点选择和组合。对于大规模知识图谱通常采用自动或半自动更新来确保及时性和数据完整性而手动更新可能更适合小规模、专业领域或需要高度精准性的场景。直接三元组索引查询直接使用三元组索引查询知识图谱的方式是知识图谱问答系统中常见的数据检索方式。在这种方法中知识图谱中的数据以三元组的形式存储每个三元组包含实体、属性和值例如 (巴黎, 是首都, 法国)。用户提出问题时系统会直接查询这些三元组以找到与问题相关的信息。这种方式的主要特点包括直接查询查询是基于三元组的实际数据因此系统可以直接与知识图谱中的实体和关系交互。高度结构化由于数据以结构化形式存储这种方法适合于处理事实类问题如 法国的首都是什么。高效性三元组索引通常可以实现高效的查询尤其是在知识图谱数据的规模较小的情况下。这种方法适用于需要高度结构化和精确答案的问题。然而它可能不够灵活难以处理非结构化文本的问题如用户以自然语言形式提出的开放性问题。为了满足更广泛的问题需求某些系统可能结合其他技术如自然语言处理和机器阅读理解以在更复杂的情境中提供答案。通过图数据库存储检索数据存储在图数据库中并通过图数据库来进行检索的方法同时还应用了图数据库技术。这种方法在知识图谱的构建和问答系统中相当常见。以下是一些相关特点图数据库存储在这种方法中知识图谱的数据以图形结构的方式存储在专门的图数据库中。图数据库可以有效地表示实体、关系和属性以及它们之间的连接。图数据库查询当用户提出问题时系统可以使用图数据库的查询语言来检索相关的实体、关系和属性。这通常涉及到图的遍历和查询操作以查找与问题相关的数据。关系和推理图数据库允许进行复杂的关系分析和推理。系统可以通过图数据库来查找实体之间的路径、计算关系的权重甚至执行一些基本的推理操作。适用性这种方法更适合需要处理复杂关系和多步问题的问答系统。它适用于专业领域、复杂推理和知识图谱中的非平凡问题。性能图数据库的性能通常较好特别是当需要执行复杂的查询和关系分析时。这使得它适用于大规模知识图谱的情况。通过将图数据库与知识图谱问答系统相结合系统能够更有效地处理知识图谱中的关系和实体提供更复杂的问题解答服务。这种方法使得知识图谱问答系统能够进行高级的关系分析和推理从而更全面地回答用户的问题。二语义解析在线图谱问答的流水线之一是语义解析的方法系统先对查询进行领域分类以装配不同类型的处理流程例如汉语诗词类、单实体类、多实体关系类然后对查询进行语法树分析和形式逻辑规约在三元组中递归查询和拼装得到最终答案。该方法的优点是支持一些复杂的查询推理且在规则适用的范畴内准确率较高。在线图谱问答流水线涉及了多个关键步骤包括领域分类、语法树分析、形式逻辑规约和三元组查询。这些步骤有助于系统理解用户查询并从知识图谱中检索相关信息以生成答案。以下是这些步骤的详细解释领域分类首先系统对用户的查询进行领域分类。这是为了确定用户查询的主题或领域以便装配适当的处理流程。不同领域可能需要不同的处理方法因此领域分类有助于系统选择正确的处理策略。语法树分析一旦系统确定了查询的领域它会对用户的查询进行语法树分析。这个步骤涉及将自然语言查询分解成一个结构化的语法树其中包括词汇、短语和语法关系。语法树分析有助于系统理解查询的结构和含义。形式逻辑规约接下来系统进行形式逻辑规约将自然语言查询转化为逻辑表示。这有助于系统将用户查询与知识图谱中的数据进行匹配。规约过程可以包括识别实体、属性和关系并将它们映射到知识图谱中的对应项。三元组查询和拼装一旦查询被规约为逻辑表示系统可以进行三元组查询。这意味着系统会递归地查询知识图谱中的三元组以找到与查询匹配的数据。系统会检索包含所需信息的三元组然后逐步拼装这些信息以生成最终答案。这可能涉及到多次查询和关系的拼接。整个流水线的目标是将用户自然语言查询转化为结构化查询然后使用查询引擎从知识图谱中检索相关信息最终生成准确的答案。这种方法允许系统处理各种类型的查询包括事实类问题、关系查询和复杂的问题需求。它结合了自然语言处理和知识图谱检索技术以提供高效的问答服务。三深度学习另一种流水线是基于深度学习的方法系统首先识别出具有问答意图的查询然后通过深度模型识别查询问题中的实体对实体属性和查询表达进行深度语义匹配映射计算出候选结果并进行清洗和排序得到答案。该方法的优点是对查询语义理解较好泛化性强召回率较高。这种基于深度学习的流水线方法是现代问答系统中的常见方式它结合了自然语言处理和机器学习技术以理解用户的查询并生成答案。以下是关于这一方法的详细解释识别问答意图流水线的第一步是识别用户查询的意图以确定用户是否正在寻找特定的答案或信息。这可以通过自然语言处理技术和深度学习模型来实现例如递归神经网络RNN或卷积神经网络CNN。实体识别一旦系统确定了用户的意图它会使用深度学习模型来识别查询中的实体。这可以包括命名实体识别NER其中系统尝试标识出查询中的特定名词、地点、日期等。深度语义匹配接下来系统会进行深度语义匹配以理解查询中的实体、属性和关系。这可能涉及到使用深度学习模型来将用户查询与知识图谱中的数据进行语义匹配以找到最相关的信息。候选结果计算系统会计算候选结果这些结果可能包括多个可能的答案。深度学习模型通常用于计算答案的置信度和相关性。清洗和排序最后系统会对候选答案进行清洗和排序以确定最终的答案。这可以包括排除不相关的结果、处理模棱两可的查询和根据答案的可信度进行排序。这种深度学习流水线方法允许系统自动从大规模的文本和知识库中提取信息以满足用户的需求。这种方法具有适应性能够处理各种查询类型包括事实类问题和非事实类问题因为它强调了语义理解和深度匹配。深度学习模型通常需要大量的训练数据和计算资源以便在多样化的查询中表现良好。扩展汉语诗词类、单实体类、多实体关系类汉语诗词类、单实体类 和 多实体关系类 是不同类型的查询或问答类别这些类别在问答系统中需要不同的处理方式汉语诗词类这是一种问答类别涉及回答与汉语诗歌和文学相关的问题。这些问题可能包括要求识别、解释或引用古代或现代汉语诗歌的内容、作者和背景。对于汉语诗词类问题系统需要具有文学知识和文化理解能力以回答与汉诗相关的问题。单实体类单实体类问题是那些与单个实体通常是一个名词或专有名词相关的问题。这类问题可能包括实体的定义、属性、特征或与实体相关的其他信息。例如巴黎是哪个国家的首都 是一个单实体类问题其中实体是 巴黎。多实体关系类多实体关系类问题涉及多个实体之间的关系或交互。这些问题可能需要系统理解和分析多个实体之间的关系以提供答案。例如谁是巴黎的市长 是一个多实体关系类问题其中涉及 巴黎城市和 市长职位之间的关系。每种类别的问题都需要不同的处理策略和语义解析方法。对于汉语诗词类问题需要文学知识和语言处理技巧对于单实体类问题需要实体识别和属性提取对于多实体关系类问题需要理解实体之间的关系和进行复杂的语义匹配。因此问答系统需要能够分类和处理这些不同类型的问题以提供准确的答案。四、DeepQA基于搜索机器阅读理解的问答系统一基本背景分析早期的DeepQA系统具有非常复杂的流水线例如IBM的Waston以及2017年第一版“立知“问答。系统包括多个数据挖掘和机器学习模块在问题分析、答案候选的特征抽取、评分排序等诸多环节都可能有错误的传播和积累可扩展性不强。2017年以后斯坦福的陈丹琦等人提出了一个面向规模文档集的开放域问答系统——DrQA系统定义了一种新的开放域问答实现方式即通过检索和深度机器阅读理解MRC产生答案。在SQuAD等公开数据集和评测的推动下深度机器阅读理解发展迅速在查询和文档语义建模、上下文信息交互建模、答案抽取和预测方式建模上都不断涌现新的方法2019年机器阅读理解系统甚至在事实类问答上超过了人类水平。然而在真实的搜索场景中DeepQA仍然面临着很多挑战。首先是用户的需求纷繁复杂表达方式也千差万别而互联网数据规模巨大需求检索匹配的难度很大。其次是网页数据多种多样页面类型和格式繁多、质量参差、答案的形式不一机器阅读理解面临较大的挑战。二短答案MRC基本功能短答案机器阅读理解MRC任务的定义是从搜索结果的多个文档中抽取唯一的答案片段同时提供支持答案的文本来源。这一任务旨在让机器理解自然语言问题并从大规模文本语料库中定位并提取与问题相关的答案片段从而为用户提供准确的答案并展示答案来自哪些文本资源或文档。短答案MRC任务通常用于评估机器理解自然语言的能力和信息检索技术的效果。面临挑战搜索结果噪声过多噪声包括不相关结果、不一致答案等。短答案抽取模型是一个多文档段落抽取的模型将搜索排名topN常用N10的文档段落输入到BERT中进行表示建模然后预测段落中答案的起始位置。为了解决输入文档不相关的问题将“答案存在性判别”和“答案起止位置预测”两个目标进行联合训练为了应对各文档的答案不一致问题们加入了多文档交互将多个文档中包含答案概率最大的片段拼接起来进行建模信息融合之后再预测文档包含答案的概率。面临挑战答案出现常识性错误常识性错误即模型输出无意义答案例如边界错误、答案类型错误。优化做法是引入一些外部知识例如百科、知识图谱等给候选文档中符合答案类型的实体打上特殊的标记在建模过程中加强对它们的关注。面临挑战鲁棒性问题鲁棒性问题指的是由于过拟合导致模型输出不稳定。Dropout是一种有效的减少过拟合的方式但它的缺点是不能保持输出的一致性。优化应用了R-Drop通过将Dropout作用于输出层降低了训练和测试的不一致性同时引入对称KL散度作为正则项增强了输出的稳定性。在实验过程中发现对输出层使用两次dropout效果较好。此外还对训练数据进行了同语义问题的数据增强加入相同语义query下的段落输出部分的KL-Loss增强了模型的稳定性。面临挑战答案归一化和多span问题在抽取式阅读理解中由于多文档表述的不一致往往会遇到答案归一化的问题比如“安全带使用期限是几年”的问题答案可能有“3到5年”、“3年至5年等”而且还有答案并不是连续判断比如“沉鱼落雁指的是谁”这个问题中答案可能对应文档中两个片段span。为了解决上述问题我们尝试用生成式阅读理解方法以Fusion-in-DecoderFiD为例将检索得到的多文档分别进行编码表示拼接起来输入到decoder生成统一的答案。实践中利用大规模点击日志文档生成查询进行预训练利用短答案日志构建大量弱监督数据进行自训练有效提升了生成式阅读理解的效果。由于生成模型输出的答案得分其实是语言模型的困惑度不能很好地刻画答案本身的置信度我们训练了一个生成答案的置信度预测模型对答案输出进行决策。三长答案MRC基本功能长答案机器阅读理解MRC任务类似于短答案MRC但在答案的形式上有所不同。在长答案MRC任务中系统需要从大规模文本语料库中寻找较长的文本段落而不仅仅是短答案片段。具体来说长答案MRC任务的定义如下长答案MRC任务是从一组文档中针对给定的自然语言问题寻找并提取包含详细信息、较长文本段落作为答案。这些文本段落通常包括更广泛的背景信息以回应问题而不仅仅是简短的答案片段。系统需要确定哪些段落包含与问题相关的信息并将它们提供给用户作为答案。长答案MRC任务更侧重于理解问题的上下文和信息背景并从大规模文本语料库中检索和提取包含详细信息的文本段落。这种任务在需要更详细解释和推理的问题情境中非常有用例如提供关于某一主题的全面解释或包含多个方面的答案。长答案MRC任务通常要求系统在更广泛的文本背景中查找答案这对于信息检索和自然语言理解领域的进展具有重要意义。长答案MRC-组合式问答针对长答案包含信息量大、不连续的特点提出了一种“组合式问答”的任务形式从搜索结果的单个文档中抽取出一组片段来合成精选摘要答案。任务输入为给定问题和文档的完整片段组合输出为答案片段组合。评价方式为片段预测的F1和人工评价相结合。组合式问答模型的整体框架基于BERT输入是问题和进行了启发式分句的文档句子序列输出是每个句子是否是答案的概率。引入了两个非常有用的设计具体见参考文章即可第一个是引入页面的结构信息。由于网页的HTML能够一定程度上反映页面结构、文本关联以及展示内容的重要度等特征我们选择了部分网页标签作为符号输入到模型中。第二个是引入针对性的预训练任务。—般预训练都是建模句子级别的关系没有有效挖掘文档结构的信息我们引入了两类相关的预训练任务一类是问题选择QS即随机替换一个问题并预测另一类是节点选择NS可以对句子和符号进行随机替换或打乱顺序。这样的预训练任务可以让模型更深刻地理解问题和长文本的内容。长答案MRC-判断类观点问答对于判断类观点问答任务考虑到用户不会仅仅满足于论断而会更关心论据设计了一个模型首先抽取能够回答问题的长答案即论据然后根据该论据做论断的分类产生一个短答案。模型的整体结构是基于长答案模型结构的改进在抽取长答案的同时将query、title和长答案抽取过程中最高概率答案句拼接起来输入判断模块。通过论据抽取和论点分类两个目标的联合学习模型可以解决短答案抽取无法解决的问题。比如在下图的例子中对于“把兔子关在笼子里好吗”这个问题短答案抽取并不能直接抽取出“好”或者“不好”的答案片段而通过分类可以知道它是一个否定的回答。五、总结在今天这个信息爆炸的时代搜索问答技术的重要性日益凸显。通过结合知识图谱和机器阅读理解MRC我们不仅能够高效地获取信息还能为用户提供更加精准和个性化的回答。这种技术的进步使得我们的搜索体验更加顺畅仿佛在与一位智慧无比的助手对话。通过本文的探讨我们看到知识图谱帮助我们构建了一个更加清晰的知识框架使得信息不再是孤立的岛屿而是相互连接的海洋。而机器阅读理解则为我们带来了更深层次的理解让机器能够“读懂”文本背后的含义而不仅仅是表面的字句。总之搜索问答技术的不断进步正如同为人类的智慧加上了一双翅膀让我们在知识的天空中自由翱翔。未来这些技术将继续演进期待它们能为我们带来更惊喜的搜索体验。让我们拭目以待主要学习资料全面解读QQ浏览器搜索中的智能问答技术-腾讯云开发者社区-腾讯云 主要学习来源访问ACM Digital LibraryACM数字图书馆以查找计算机科学和信息检索领域的相关文章
