什么是PaperQA？如何帮助科学研究？

介绍

随着人工智能的发展，科学研究已经发生了巨大的转变。每年在不同的技术和部门上发表数百万篇论文。但是，浏览这一信息以检索准确且相关的内容是一项艰巨的任务。输入PaperQA，这是一种旨在解决此确切问题的检索生成（RAG）代理。它由Jakub Lala´，Odhran O'Donoghue，Aleksandar Shtedritski，Sam Cox，Samuel G Rodriques和Andrew D White进行了研究和开发。

该创新工具是专门设计的，可以通过从全文科学论文中检索信息，综合数据并以可靠的引用生成准确的答案来帮助研究人员。本文探讨了PaperQA的好处，工作，实施和局限性。

概述

• PaperQA是一种检索型生成（RAG）工具，旨在帮助研究人员从全文科学论文中导航和提取信息。
• 通过利用大型语言模型（LLM）和抹布技术，PaperQA提供了可靠的引用的准确，上下文丰富的响应。
• PaperQA中的代理RAG模型自动检索，过程和合成信息，并根据复杂的科学查询优化答案。
• PaperQA与人类专家的表现相当，在更快，更有效的同时达到了相似的精度率。
• 尽管具有优势，但PaperQA仍取决于检索到的论文的准确性，并且可能与模棱两可的查询或最新的数值数据斗争。
• PaperQA代表了自动化科学研究的重要一步，从而改变了研究人员如何检索和合成复杂信息。

目录

• 介绍
• PaperQA：检索效果的科学研究剂
• 什么是特工抹布？
• 分布破布
• PaperQA作为代理抹布模型
• PaperQA：工作和工具
• PaperQA的局限性
• 结论
• 常见问题

PaperQA：检索效果的科学研究剂

随着科学论文继续成倍增加，研究人员筛选不断扩展的文学机构变得越来越困难。仅在2022年，就发表了超过500万个学术论文，增加了当前可用的超过2亿篇文章。这项大量研究通常会导致重大发现未被注意到或花费数年的认可。传统方法，包括关键字搜索和矢量相似性嵌入，仅刮擦检索相关信息可能的表面。这些方法通常是高度手动，缓慢的，并且留出了监督的空间。

PaperQA通过利用大型语言模型（LLM）的潜力（结合检索增强的生成（RAG）技术）来为该问题提供强大的解决方案。与典型的LLM不同，它可以幻觉或依靠过时的信息，PaperQA使用动态方法来检索信息，结合了搜索引擎的优势，收集证据和智能答案，同时最大程度地降低了错误和提高效率。通过将标准抹布分解为模块化组件，PaperQA适应了特定的研究问题，并确保所提供的答案植根于事实，最新的来源。

另请阅读：构建多模式抹布系统的综合指南

什么是特工抹布？

代理RAG模型是指旨在集成代理方法的一种检索增强生成（RAG）模型。在这种情况下，“代理”意味着模型自主行动并决定如何检索，处理和生成信息的能力。它是指模型不仅检索和增强信息的系统，而且还积极管理各种任务或子任务以优化特定目标。

分布破布

1. 检索增强生成（RAG） ：抹布模型旨在将大型语言模型（LLMS）与检索机制相结合。这些模型通过使用内部知识（预训练数据）并动态检索相关的外部文档或信息来产生响应。这提高了模型响应需要最新信息或特定域信息的查询的能力。
   • 检索：该模型从大型数据集（例如科学论文的语料库）中检索最相关的文档。
   • 增强：通过检索步骤“增强”一代过程。检索系统找到相关数据，然后将其用于提高生成文本的质量，相关性和事实准确性。本质上，外部信息增强了模型，使其更有能力回答超出其预训练知识的查询。
   • 一代：它通过利用检索的文档及其预培训的知识库来生成连贯且具有上下文相关的答案或文本。
2. 代理：当某物被描述为“代理”时，它意味着它可以自主做出决定并执行行动。在抹布模型的背景下，代理抹布系统将具有以下功能：
   • 自主确定要查询的文档或来源。
   • 根据上下文或用户查询将某些文档优先于其他文档。
   • 将复杂的查询分解为子查询，并独立处理。
   • 使用战略方法选择最能满足手头任务目标的信息。

另请阅读：揭露检索增强发电（RAG）| AI符合人类知识的地方

PaperQA作为代理抹布模型

PaperQA专门设计为专为使用科学论文而设计的代理抹布模型。这意味着它对以下任务特别优化：

• 检索特定的，高度相关的学术论文或论文部分。
• 通过解析和综合多个文档的信息来回答详细的科学查询。
• 将复杂的科学问题分解为可管理的部分，并自主决定最佳的检索和发电策略。

为什么PaperQA非常适合使用科学论文？

• 复杂的信息检索：科学论文通常包含密集的技术信息。 PaperQA2可以通过自主找到纸张或一组纸的最相关部分来浏览这种复杂性。
• 多文章的综合：它可以吸引多个论文，结合见解并综合一个更全面的答案，而不是依靠单个来源。
• 专业：PaperQA2可能是针对科学语言和环境的训练或优化的，使其在该特定领域中表现出色。

总而言之，代理抹布模型是一个复杂的系统，可检索相关信息并生成响应，并自主管理任务以确保效率和相关性。 PaperQA2将该模型应用于科学论文的领域，使其在学术和研究目的方面非常有效。

另请阅读：通过检索增强的微调增强抹布

PaperQA：工作和工具

PaperQA系统由：

输入查询

该过程始于用户输入的输入查询。这可能是一个问题或搜索主题，需要基于科学论文的答案。

搜索阶段

• 关键字和年：处理输入查询，并提取关键字或相关年份。
• 查询可用的API ：系统查询各种可用的API，以了解科学论文，可能来自Arxiv，PubMed或其他存储库等数据库。
• 顶部K结果：基于论文的相关性和状态（无论是可访问，经过同行评审等）取回了顶部K结果。
  

收集证据阶段

• 嵌入式块：系统将相关论文分解成嵌入式的块，较小，易于管理的文本段。
• MMR矢量检索：最大边缘相关性（MMR）技术用于从论文中检索最相关的证据。
• 摘要LLM ：语言模型（LLM）总结了从块中提取的证据。
• LLM相关性分数：LLM分数汇总信息的相关性，以评估其与输入查询的一致性。
• 顶级M块：选择最相关的最相关的块以进行进一步处理。

回答问题阶段

• 问题和上下文库：分析输入查询，系统检查其内部上下文库，以查看其是否具有与问题相关的知识或答案。
• 询问LLM（您对这个问题有什么了解吗？） ：系统询问LLM是否有任何先前的理解或上下文直接回答查询。
• 答案LLM提出答案：LLM根据收集的证据和问题的背景提出答案。
• 向代理展示：拟议的答案显示给代理（可能是人类审阅者或更高级别的LLM进行最终验证）。

完成答案

• 如果答案有足够的答案和最终查询答案，则该过程将完成。
• 如果答案不足，则过程循环循环，LLM继续收集证据或重新分析输入查询以获取更好的结果。

这种整体结构可确保PaperQA可以有效地搜索，检索，总结和合成大量科学论文的信息，从而为用户查询提供详尽而相关的答案。关键优势是它可以分解复杂的科学内容，应用智能检索方法并提供基于证据的答案的能力。

这些工具和谐起作用，允许PaperQA从各种来源收集多个证据，从而确保产生彻底的基于证据的答案。整个过程由中央LLM代理管理，该过程基于查询的复杂性动态调整其策略。

LITQA数据集

开发了LITQA数据集来衡量PaperQA的性能。该数据集由50个从最近的科学文献中得出的50个多项选择问题组成（2021年9月后）。这些问题跨越了生物医学研究中的各个领域，要求PaperQA检索信息并在多个文档中合成。 LITQA提供了一种严格的基准测试，该基准超出了典型的多项选择科学质量检查数据集，要求PaperQA进行全文检索和合成，任务更接近人类研究人员执行的任务。

PaperQA与专家人类相比如何？

在评估PaperQA在LITQA上的性能时，该系统与专家人类研究人员具有很高的竞争力。当研究人员和PaperQA得到相同的问题时，PaperQA与人类相当，显示出相似的精度率（人类为69.5％，为66.8％）。此外，PaperQA更快，更具成本效益，在2.4小时内回答了所有问题，而人类专家为2.5小时。 PaperQA的一个值得注意的优势是其错误地回答的速度较低，因为它经过校准，以确认缺乏证据时的不确定性，从而进一步降低了结论不正确的风险。

PaperQA实施

PaperQA系统建立在Langchain代理框架上，并使用多个LLM，包括GPT-3.5和GPT-4，每个LLM都分配给了不同的任务（例如，汇总和答案）。该系统从各种数据库中提取论文，使用地图还原方法来收集和总结证据，并以完全引用的学术基调产生最终答案。重要的是，PaperQA的模块化设计使其可以重新提出问题，调整搜索术语和重试步骤，从而确保准确性和相关性。

如何通过命令行使用PaperQA？

步骤1：安装所需的库
运行以下命令安装Paper-QA：

 PIP安装Paper-QA

步骤2：设置您的研究文件夹
创建一个文件夹，然后将研究论文放入其中。例如，我已经添加了标题为“注意的全部需要”的论文。

步骤3：导航到您的文件夹
使用以下命令导航到文件夹：

 CD文件夹名称

步骤4：问你的问题
运行以下命令询问一个主题：

 PQA问“什么是变形金刚？”

结果：

输出的来源和引用

• CrossRef ：CrossRef是一个官方数据库，为学术论文提供数字对象标识符（DOIS）。但是，看来搜索无法成功连接到CrossRef，这可能是因为未设置必要的环境变量（CrossRef_API_KEY缺失）。这意味着CrossRef不能用作此搜索的数据源。
• 语义学者：同样，它试图查询流行的学术搜索引擎的语义学者，但是由于缺少API键而导致的连接失败了（Smantic_scholar_api_key未设置）。这导致了超时，并且没有检索元数据。
• 该系统指向论文的特定页面（例如，Vaswani2023第2-3页），以确保读者可以验证或进一步探索源材料。这在学术或研究环境中可能特别有用。

使用Python访问

导入库

导入操作系统
来自dotenv import load_dotenv
从PaperQA导入设置，Agent_Query，QueryRequest

• OS：提供与操作系统交互的功能的模块，例如使用文件路径和环境变量。
• Dotenv：用于将.ENV文件加载到环境的模块。
• PaperQa：PaperQA库中的模块，允许查询科学论文。它提供了类和功能，例如设置，Agent_Query和QueryRequest，用于配置和运行查询。

加载API键

load_dotenv（）

• 此功能从.env文件加载环境变量，通常用于存储敏感信息，例如API键，文件路径或其他配置。
• 调用load_dotenv（）确保环境变量可用于脚本访问。

查询PaperQA系统

答案=等待agent_query（  
    queryrequest（    
            查询=“什么是变形金刚？”，    
            设置=设置（温度= 0.5，paper_directory =“/home/badrinarayan/paper-qa”），  
    ）
）

这是对代码的解释，分解为结构化和清晰的格式：

代码分解和解释

1。导入库

PIP安装Paper-QA<br>导入操作系统<br>来自dotenv import load_dotenv<br>从PaperQA导入设置，Agent_Query，QueryRequest<br>

• OS ：提供与操作系统交互的功能的模块，例如使用文件路径和环境变量。
• Dotenv ：用于将.ENV文件加载到环境的模块。
• PaperQa ：PaperQA库中的模块，允许查询科学论文。它提供了类和功能，例如设置，Agent_Query和QueryRequest，用于配置和运行查询。

2。加载环境变量

load_dotenv（）

• 此功能从.env文件加载环境变量，通常用于存储敏感信息，例如API键，文件路径或其他配置。
• 通过调用load_dotenv（），它可以确保可以在脚本中访问环境变量。

3。查询PaperQA系统

答案=等待agent_query（
    queryrequest（
        查询=“什么是变形金刚？”，
        设置=设置（温度= 0.5，paper_directory =“/home/badrinarayan/paper-qa”），
    ）
）

代码的这一部分使用代理和结构化请求查询PaperQA系统。它执行以下步骤：

• Agent_query（） ：这是用于向PaperQA系统发送查询的异步功能。
  • 预计将使用等待关键字来调用它，因为它是一个异步函数，这意味着它在等待结果的同时与其他代码同时运行。
• 查询：这定义了查询请求的结构。它将查询和设置作为参数。在这种情况下：
  • 查询：“什么是变形金刚？”是该系统的研究问题吗？它期望从指定目录中的论文中得出答案。
  • 设置：这将通过设置的实例来配置查询，其中包括：
    • 温度：控制生成的答案的“创造力”。较低的值等0.5使响应更加确定性（事实），而较高的值会产生更多多样化的答案。
    • Paper_Directory ：指定PaperQA应在此查找研究论文的目录，在这种情况下为“/home/badrinarayan/Paper-qa”。

输出

问题：什么是变形金刚？<br><br>变压器是设计用于序列的神经网络体系结构<br> 转导任务，例如机器翻译，完全依赖于<br> 注意机制，消除了对复发和卷积的需求。<br> 它具有编码器结构，其中编码器和解码器都<br> 由六个相同层组成。每个编码器层都包含一个<br> 多头自我注意机制和姿势完全连接的位置<br> 馈送网络，采用剩余连接和层<br> 正常化。解码器包含一个额外的子层<br>在编码器的输出上注意注意并使用掩码来确保自动<br>回归产生（Vaswani2023第2-3页）。<br><br>变压器改善并行化并减少训练时间<br> 重复模型，实现最先进的模型会导致翻译<br> 任务。它在WMT 2014年英语对 - 最新任务上的BLEU得分为28.4<br> 在训练3.5天后，八个<br> GPU（Vaswani2023页1-2）。该模型的效率进一步提高了<br> 减少关联来自不同的信号所需的操作数量<br> 位置到恒定的，利用多头关注以维持<br> 有效分辨率（Vaswani2023第2-2页）。<br><br>除了翻译外，变压器还表现出很强的<br> 在英语选区解析等任务中的表现，达到高F1<br> 监督和半监督的设置的分数（Vaswani2023页9--<br> 10）。<br><br>参考<br><br>1。（Vaswani2023第2-3页）：Vaswani，Ashish等。 “关注你全部<br> 需要。<br><br> 2。（Vaswani2023第1-2页）：Vaswani，Ashish等。 “关注你全部<br> 需要。<br><br> 3。（Vaswani2023第9-10页）：Vaswani，Ashish等。 “关注你全部<br> 需要。<br><br> 4。（Vaswani2023第2-2页）：Vaswani，Ashish等。 “关注你全部<br> 需要。

输出的来源和引用

该系统似乎依靠外部数据库，例如学术数据库或存储库来回答问题。根据参考文献，该特定系统很有可能正在查询诸如：

• Arxiv.org ：著名的研究论文开放式存储库，特别是专注于计算机科学，人工智能和机器学习领域。对“ Arxiv，2023年8月2日，Arxiv.org/abs/1706.03762v7”的引用直接引入了Ashish Vaswani等人的开创性纸“您需要的全部您需要” 。 （2017），引入了变压器模型。
• 可以查询的其他潜在来源包括语义学者， Google Scholar或PubMed等学术存储库，具体取决于该主题。但是，对于这项特定任务，由于引用了论文的性质，系统似乎主要依赖于Arxiv 。
• 该系统指向论文的特定页面（例如，Vaswani2023第2-3页），以确保读者可以验证或进一步探索源材料。这在学术或研究环境中可能特别有用。

PaperQA的局限性

尽管具有优势，但PaperQA并非没有局限性。首先，其对现有研究论文的依赖意味着它假设来源中的信息是准确的。如果检索出错误的论文，PaperQA的答案可能会存在缺陷。此外，该系统可能会与与可用文献不符的模棱两可或模糊的查询斗争。最后，尽管系统有效地从全文论文中综合了信息，但它仍无法处理需要最新数值数据的实时计算或任务。

结论

总之，PaperQA代表了科学研究自动化的飞跃。通过将检索功能的生成与智能代理集成，PaperQA改变了研究过程，减少了从复杂文献中找到和合成信息所需的时间。它的动态调整，检索全文论文和迭代答案的能力使科学提问的世界越来越接近人类水平的专业知识，但成本和时间的一小部分。随着科学在Breakneck速度的进步，PaperQA之类的工具将在确保研究人员可以保持并突破创新的界限方面发挥关键作用。

另外，请查看有关AI代理的新课程：AI代理简介

常见问题

Q1。什么是PaperQA？

Ans。 PaperQA是一种检索型生成（RAG）工具，旨在帮助研究人员从全文科学论文中导航和提取相关信息，并以可靠的引用综合答案。

Q2。 PaperQA与传统搜索工具有何不同？

Ans。与依靠关键字搜索的传统搜索工具不同，PaperQA使用大型语言模型（LLMS）与检索机制相结合，从多个文档中提取数据，从而产生更准确和更丰富的上下文响应。

Q3。 PaperQA中的代理抹布模型是什么？

Ans。代理RAG模型允许PaperQA通过分解查询，管理任务并使用代理方法来优化响应来自主检索，处理和生成信息。

Q4。与人类专家相比，PaperQA的表现如何？

Ans。 PaperQA与人类研究人员的竞争良好，达到相似的准确率（约为69.5％），同时更快地回答问题，并且错误较少。

Q5。 PaperQA有什么局限性？

Ans。 PaperQA的局限性包括潜在依赖错误来源，模棱两可的查询难度以及无法执行实时计算或处理最新数值数据。

以上是什么是PaperQA？如何帮助科学研究？的详细内容。更多信息请关注PHP中文网其他相关文章！