7.0
热点
AI SCORE
开源项目2024-05-12 09:52
自动化学术论文生成框架 data-to-paper
Hacker News · github.com#LLM#研究自动化#开源
Editor brief · 编辑速览
LLM 驱动的框架能从数据自动生成学术论文。大幅提升科研型程序员的论文写作和文档生成效率。
data-to-paper 是一个自动化框架，它能够系统地引导多个相互协作的 AI Agent，完成端到端的科学研究全过程：从原始数据出发，最终产出透明、可反向追溯、可由人类验证的科学论文（AI 创作的论文示例、Copilot App DEMO）。本仓库是论文《Autonomous LLM-Driven Research — from Data to Human-Verifiable Research Papers》的代码实现。
pip install data-to-paper
然后运行：data-to-paper
依赖项请参阅 INSTALL。
整个流程贯穿完整的科学研究路径：从数据探索、文献检索和构思，到数据分析与解读，再到逐步撰写出一篇完整的研究论文。
整个流程贯穿完整的科学研究路径：从数据探索、文献检索和构思，到数据分析与解读，再到逐步撰写出一篇完整的研究论文。
通过追踪信息流，data-to-paper 可以创建可反向追溯、可验证的论文。论文中的任何数值都可以通过点击一路回溯到生成该数值的具体代码行（data-chaining DEMO）。
通过追踪信息流，data-to-paper 可以创建可反向追溯、可验证的论文。论文中的任何数值都可以通过点击一路回溯到生成该数值的具体代码行（data-chaining DEMO）。
该平台既可以完全自主运行，也可以由人类通过 Copilot App 提供指导，用户可以：监督、检查并指导研究；设定研究目标，或者让 AI 自主提出并检验假设；提供评审意见，或者按需调用 AI 评审；将流程回退到先前步骤；记录并重放运行过程；追踪 API 成本。
该平台既可以完全自主运行，也可以由人类通过 Copilot App 提供指导，用户可以：
监督、检查并指导研究
监督、检查并指导研究
设定研究目标，或者让 AI 自主提出并检验假设
设定研究目标，或者让 AI 自主提出并检验假设
提供评审意见，或者按需调用 AI 评审
提供评审意见，或者按需调用 AI 评审
将流程回退到先前步骤
将流程回退到先前步骤
记录并重放运行过程
记录并重放运行过程
通过重写标准统计软件包并加入多重护栏，尽可能减少 LLM 常见的编码错误。
通过重写标准统计软件包并加入多重护栏，尽可能减少 LLM 常见的编码错误。
data-to-paper 框架最初是一个研究项目，旨在理解 LLM 驱动的科学研究所具备的能力及其局限，并探索如何利用 LLM 加速研究，同时维持乃至强化透明度、可追溯性和可验证性等核心科学价值，并允许科学家监督和指导整个过程（另请参阅：living guidelines）。
为实现这一目标，data-to-paper 会系统地引导相互协作的 LLM Agent 和基于规则的 Agent，沿着传统科学研究路径展开工作：从带有注释的数据开始，依次创建研究假设、进行文献检索、编写并调试数据分析代码、解读结果，最终逐步完成一篇完整的研究论文。
以下 NEJM AI 论文介绍了 data-to-paper 框架：
Tal Ifargan、Lukas Hafner、Maor Kern、Ori Alcalay 和 Roy Kishony，《Autonomous LLM-Driven Research — from Data to Human-Verifiable Research Papers》，10.1056/AIoa2400555
以下预印本也对其进行了介绍：
Tal Ifargan、Lukas Hafner、Maor Kern、Ori Alcalay 和 Roy Kishony，《Autonomous LLM-driven research from data to human-verifiable research papers》，arXiv:2404.17605
我们使用 data-to-paper 运行了以下测试案例：
使用 CDC 2015 年度行为风险因素监测系统（Behavioral Risk Factor Surveillance System，BRFSS）数据集的一个干净、未加权子集（Kaggle）。这里有一篇由 data-to-paper 创建的论文示例。
data-to-paper diabetes
由第 117 届美国国会议员之间的 Twitter 互动构成的有向图（Fink 等人）。这里有一篇由 data-to-paper 创建的论文示例。
data-to-paper social_network
一个关于缺乏活力的新生儿入住新生儿重症监护室（NICU）后的治疗与结局的数据集，涵盖治疗指南调整实施前后的数据（Saint-Fleur 等人）。这里有一篇由 data-to-paper 创建的论文示例。
data-to-paper npr_nicu
一个接受外科手术后进行机械通气的儿科患者数据集，其中包括基于 X 光确定的最佳气管插管深度，以及一组患者个性化属性。这些属性将用于机器学习模型和基于公式的模型，以预测最佳插管深度（Shim 等人）。这里有一篇由 data-to-paper 创建的论文示例。
我们为这篇论文的研究问题定义了三个难度等级。
easy：比较两种用于预测最佳插管深度的 ML 方法。试试看：
data-to-paper ML_easy
medium：比较一种 ML 方法和一种基于公式的方法，以预测最佳插管深度。试试看：
data-to-paper ML_medium
hard：比较 4 种 ML 方法和 3 种基于公式的方法，以预测最佳插管深度。试试看：
data-to-paper ML_hard
我们欢迎大家使用自己的数据试用 data-to-paper，也非常期待收到反馈和建议。目前，它主要面向相对简单的研究目标和简单数据集，适用于需要提出并检验统计假设的场景。
我们也欢迎大家帮助开发和扩展 data-to-paper 框架，将其应用于科学或其他领域。
使用本软件即表示你同意承担与其使用有关的一切风险，包括但不限于数据丢失、系统故障，或者可能出现的任何其他问题，尤其包括但不限于在本地计算机上运行由 LLM 创建的代码所带来的后果。本项目的开发者不对因使用本软件而可能发生的任何损失、损害或其他后果承担任何责任或法律义务。
你需要对所创建论文的全部内容独自负责，包括其严谨性、质量、伦理及其他任何方面。整个过程应由 human-in-the-loop 监督和指导，所创建的论文也应由相关领域专家仔细审核。该流程并非绝对不会出错；为了确保结果的准确性和质量，人工干预必不可少。
你有责任确保基于本软件输出采取的任何行动或作出的任何决定，均符合所有适用的法律、法规及伦理标准。本项目的开发者和贡献者不对使用本软件所产生的任何后果负责。此外，为确保透明度，由 data-to-paper 创建的论文会带有 AI 创作水印。用户不应移除该水印。
请注意，通过外部 API 使用大多数语言模型，尤其是 GPT4，可能会因 Token 使用量而产生高昂费用。使用本项目即表示你确认：监控和管理自己的 Token 使用量及相关费用是你本人的责任。强烈建议定期检查 API 使用情况，并设置必要的限额或提醒，以避免产生意外费用。
下面是其他一些很酷的多 Agent 相关项目：
另外还有这个经过整理的 awesome-agents 列表。