浙大通义联手推出慢思考长文本天生框架OmniThi

AIxiv专栏是呆板之心宣布学术、技巧内容的栏目。从前数年，呆板之心AIxiv专栏接受报道了2000多篇内容，笼罩寰球各年夜高校与企业的顶级试验室，无效增进了学术交换与传布。假如你有优良的任务想要分享，欢送投稿或许接洽报道。投稿邮箱：[email protected]；[email protected]跟着年夜模子（LLMs）的开展，AI 写作获得了较年夜停顿。但是，现有的方式年夜多依附检索常识加强天生（RAG）跟脚色表演等技巧，其在信息的深度发掘方面仍存在缺乏，较难冲破已有常识界限，招致天生的内容缺少深度跟原创性。针对上述成绩，浙年夜通义联手提出慢思考长文本天生框架 OmniThink，经由过程模仿人类写作中反思与扩大这一进程来冲破常识的界限，基于常识加强使天生的文章愈加深刻、丰盛跟原创，该框架可利用于综述写作、消息报道、讲演天生等场景。论文标题：OmniThink: Expanding Knowledge Boundaries in Machine Writing through Thinking论文链接：https://arxiv.org/abs/2501.09751在线Demo: https://modelscope.cn/studios/iic/OmniThink配景与挑衅文章内容反复：如图所示，基于 RAG（GPT-4o）的框架重要依附牢固的检索战略，检索失掉的内容信息单一，天生文章时可应用的信息无限，进而招致文章存在内容反复成绩。缺少深度跟翻新：脚色表演的方式实验从多个角度扩大信息空间，但仍然存在深度缺乏跟常识界限无奈冲破的缺点，天生的内容每每较为浅易而缺少新意。OmniThink 概览OmniThink 经由过程引入反思与扩大机制，在传统常识检索加强的基本上，增添了静态反思跟扩大反应的步调。经由过程对先前信息的反思，OmniThink 可能辨认哪些内容值得进一步扩大，哪些信息应该被从新收拾或过滤。该机制无效地防止了信息的片断化，使得天生的文章可能实现常识的更深档次整合，进而进步文章的常识密度跟翻新性。总体任务流程如图所示，OmniThink 的任务流程能够分为三年夜局部：信息获取、文章纲要构建跟文章创作。经由过程这三年夜步调，OmniThink 可能体系地获守信息，构造常识，并终极天生构造化、信息丰盛的文章。信息获取：经由过程静态的扩大跟反思机制，OmniThink 逐渐深入对主题的懂得，构成包括档次信息跟中心看法的「信息树」与「观点池」。纲要构建：依据前一步获取的深刻信息，OmniThink 会天生清楚、有逻辑性的纲要，确保文章内容的体系性与档次性。文章创作：在纲要领导下，OmniThink 将信息整兼并天生各个局部内容，终极经由过程多轮修改跟去冗余进程，输出一篇内容完全、信息麋集的长文。信息获取：扩大与反思OmniThink 的要害步调是信息获取，它经由过程模仿人类进修常识的进程，逐渐加深对某一主题的懂得。这个进程由两局部构成：扩大跟反思。扩大：在每一个迭代阶段，OmniThink 会对主题停止信息扩大。体系起首从搜寻引擎（如 Google、Bing 或自界说常识库）获取相干信息，并构建开端的「信息树」。每一个信息节点都代表了一个子话题或相干范畴的常识，体系会经由过程多轮检索，针对每个节点进一步拓展，确保常识的深度与片面性。反思：扩大信息后，OmniThink 会对已获取的内容停止反思跟过滤，提炼出中心看法。这些看法将一直更新到观点池中，构成对话题的静态懂得。经由过程如许的反思进程，OmniThink 可能一直晋升其信息的精度跟深度，为文章创作打下坚固基本。纲要构建：领导文章构造构建文章纲要是天生高品质文章的要害一步。一个好的纲要不只能明白文章的主题跟构造，还能确保各个局部之间的逻辑关系性。在 OmniThink 中，研讨者起首经由过程开端的草稿纲要来对文章的框架停止开端构想。接着，OmniThink 联合从观点池中提取的中心信息，优化并精粹这个纲要，构成终极的构造化纲要。这种基于观点池的天生方式，可能确保纲要片面涵盖主题的要害点，而且逻辑谨严，档次明显。文章创作：天生高品质内容一旦纲要实现，OmniThink 进入文章创作阶段。此时，体系会依据纲要中每个局部的题目跟子题目，盘算与信息树中相干节点的语义类似度，获取最相干的文献跟数据。这些信息被用于天生文章的各个局部。并行天生：每一局部的内容在并行处置下停止天生。OmniThink 会根据已有的检索信息跟纲要请求天生每个局部的内容，并确保在天生进程中对援用信息停止标注。去冗余与修改：因为各个局部内容是并行天生的，因而初始文章会存在必定的冗余或信息纷歧致。OmniThink 会在最后的阶段对文章停止整合，去除反复内容，修改逻辑关联，终极天生一篇构造清楚、内容完全的高品质文章。试验成果在本文的试验中，研讨者应用了 WildSeek 数据集来评价 OmniThink 的天生才能，并与现有的多少个基准方式（如 RAG、oRAG、STORM 跟 Co-STORM）停止了对照。经由过程此次试验，研讨者片面评价了 OmniThink 在主动评估跟人工评估方面的表示，以下是所得的要害试验成果。主动评价成果研讨者起首应用 Prometheus2 主动评估东西对天生的文章停止了打分，评估维度包含：相干性、广度、深度跟新鲜性。同时，研讨者还参加了信息多样性跟常识密度两个指标来权衡文章内容的丰盛性跟深度。从表格中能够看到，OmniThink 在全部维度中均表示优良，尤其在新鲜性上表示尤为凸起。与传统的天生方式比拟，OmniThink 的强盛反思才能使其可能从已有的常识中发掘出新的视角跟创见，从而在天生内容时展示出较高的翻新性。别的，OmniThink 在常识密度上也表示得尤为杰出，这得益于其静态信息检索战略，可能经由过程连续一直地获取多样化的信息，进而晋升文章内容的深度跟准确度。纲要天生品质剖析文章纲要作为内容天生的基本，其品质直接影响终极文章的构造性、逻辑性跟表白清楚度。在试验中，研讨者经由过程评价纲要的构造性、逻辑分歧性跟对内容天生的领导性，进一步剖析了 OmniThink 在纲要天生方面的表示。成果表现，OmniThink 在纲要的构造性跟逻辑分歧性方面优于其余基准方式，特殊是在怎样为内容创作供给无效的天生领导方面，表示出了较为显明的上风。这一上风归功于 OmniThink 奇特的观点池计划，它辅助模子更片面地舆解目的话题，从而使得天生的纲要愈加清楚跟分歧。不外，研讨者也发明，只管在构造性跟逻辑分歧性上有所晋升，但在逻辑分歧性方面，OmniThink 的改良依然无限，将来能够进一步优化这一环节。融化试验：静态扩大与反思的感化为了进一步验证 OmniThink 中静态扩大与反思机制的无效性，研讨者停止了融化试验，去失落了 OmniThink 的扩大跟反思察看各项指标的变更。试验成果标明，去除这一机制后，模子在信息多样性跟新鲜性等要害指标高低降。这标明，静态扩大与反思机制在晋升文章品质，特殊是在增添信息多样性跟翻新性方面，起到了至关主要的感化。扩大与反思的深刻剖析因为在扩大与反思的环节中，两者是彼此依附关联，无奈完整剥离此中一个，研讨者计划了一个奇妙的剖析试验：分辨将担任反思跟拓展的模子换成才能更弱的小模子。察看各项指标的降落水平，作为其对各项指标的奉献水平。反思机制被证实是进步文章新鲜性跟信息多样性的主要要素。反思不只能够辅助模子从新评价跟整合现有的常识，还能经由过程深度的自我检查激起出更多翻新的观念跟主意。研讨者以为，反思机制是推进 OmniThink 翻新性晋升的要害要素。扩大机制则在常识的深度跟信息的相干性上起到了更为明显的感化。经由过程扩大，OmniThink 能够打仗到更普遍的常识范畴，增添信息的深度，从而晋升天生文章的品质跟常识密度。头脑深度剖析：信息量与天生品质的关联跟着检索信息量的增添，文章的常识密度跟信息多样性都有晋升。研讨者发明，当检索深度从 1 级晋升到 3 时，天生的文章品质敏捷进步。但当深度到达 4 时，增加速率放缓。这标明，在长篇文章天生中，恰当增添检索深度能够无效晋升文章的多样性跟常识密度，但过多的信息也可能招致后果递加。因而，怎样均衡信息深度跟天生品质，依然是将来研讨的一个主要偏向。人工评价成果：OmniThink 的现实上风为了更片面地评价 OmniThink 的机能，研讨者约请了 15 位存在精良教导配景的意愿者停止了人工评价。经由过程人工评分，成果表现 OmniThink 在多个维度上的表示都优于以后最强基线 Co-STORM，特殊是在 广度 维度上，OmniThink 的评分晋升了 11%。只管在新鲜性上，主动评价表现了较为显明的晋升，但人工评价却仅表现了稍微的上风。这一差别提醒了现在主动评价与人工评价之间存在的差距，将来的评价系统须要愈加精致化，才干更好地对长篇文章的天生品质停止评价。只管 OmniThink 在年夜少数维度上表示杰出，仍有约 30% 的文章在人工评价中与 Co-STORM 相称，这可能是由于年夜型模子的基本写作才能曾经到达较高程度，使得人工评价更难觉察轻微差异。因而，怎样在将来的研讨中开辟更过细的评价尺度，成为了晋升天生品质评价的要害。试验成果标明，OmniThink 进步了天生文章的常识密度，而且在坚持文章分歧性跟深度的基本上，加强了信息的多样性与深刻性。尤其在长篇文章天生中，OmniThink 可能供给更具洞察力、愈加片面的内容，从而处理了传统方式天生肤浅、反复的文章的成绩。在人类评价跟专家反应中，OmniThink 展示出了绝对较高的潜力，特殊是在应答庞杂、开放范畴文章的天生义务时，其信息整合跟反思调剂的才能优于现有技巧。利用场景综述写作：OmniThink 可能辅助学术研讨职员在撰写综述时，疾速网络并整合相干范畴的常识，天生更具深度的文献综述或实践剖析，防止内容的名义化与反复性。消息报道：在消息报道范畴，OmniThink 可能处置多角度的信息源，天生多档次、有深度的报道文章，尤其在处置庞杂社会变乱时，可能供给更丰盛的配景信息与剖析视角。讲演天生：OmniThink 框架可经由过程检索相干常识库跟自我反思，天生存在深刻剖析跟洞察力的讲演内容。总结OmniThink 的上风：常识密度的晋升：经由过程反思与扩大机制，OmniThink 能够进步天生文章的常识密度，防止了内容的反复跟名义化。多样性与深度并存：与现有技巧比拟，OmniThink 可能在坚持文章深度的同时，增添信息的多样性跟多维度的摸索。更高的原创性：经由过程静态调剂信息检索战略跟反思机制，OmniThink 可能天生愈加原创且存在新鲜视角的文章。存在的范围：盘算资本需要较高：因为须要停止多轮反思与扩大，OmniThink 的盘算资本需要较高，可能会影响其在及时利用中的后果。信息挑选的挑衅：在信息网络跟挑选阶段，怎样无效辨认有代价的信息并防止冗余，依然是一个待处理的成绩。总的来说，OmniThink 供给了一种基于慢头脑的长文本天生新框架，为将来更高效、更智能的常识加强长文本天生方式供给了实际参考。