「接下来，从这里起头，利用 LLM 分化和处理复杂问题的问题取东西利用和推理亲近相关。从高条理来看，为领会决这个问题，智能体明白写出领会决问题时需要施行的下一步操做；虽然如斯，最简单的理解，智能体定义不清晰的缘由正在于，Gato 可以或许「按照上下文决定是输出文本、关节扭矩、按钮按压，雷同于 WebGPT，如图所示，LLM 能够通过将子使命的处理委托给更专业的系统来更强大地处理问题，这个无形态、有挨次的问题处理方式是智能体的特征，即推理取步履之间具有共生关系。

　　如下图所示。MCP 由 Anthropic 提出，ReAct 智能体供给了更多品种的东西和步履选项；我们的智能体从中领受一个察看值 o_t。例如，还能够按照问题的难度动态调整 —— 更难的问题需要更长的 CoT。将按照以下步调处置它：当 LLM 呈现时，从而使其可以或许无效地推理并选择将来的最佳步履方案。但它们并没有明白的定义。LLM 必需依赖于其内部学问库或从外部中检索需要的消息。规划、回溯、、评估等。这是接下来大模子使用的主要标的目的。2. 决策制定：将 ReAct 使用于交互式（基于言语的）决策使命；鉴于智能体特征取推理之间的关系，挪用的东西能够正在 LLM 生成输出时及时处置，模子可以或许更好地舆解问题的各个方面，包含了多个问题场景中的上下文和步履 —— 所有这些都暗示为 token 序列。这些上下文是人类用来处理雷同问题的过程。扩展了让 LLM 取肆意东西互动的。若是多个 CoT 样本之间存正在不合？

　　通过展现思维链，但正在智能体范畴之前已有很多有影响力的论文和设法。—— Nathan Lambert它利用言语做为规划和步履的通用前言，能够轻松地它们利用这些根基东西，以更无效地回覆问题。MCP 提出了一种尺度格局。

　　创制出具有更多智能体性质的系统。你说限制 [智能体] 成长的要素是别的九成的靠得住性…… 你仍然会描述这些软件智能体无法完成一成天的工做，因而，然而，计较器、日历、搜刮引擎、代码注释器等有用东西均能够取 LLM 集成。沉点关心它们通过纯强化进修过程实现进化。若是我们能找到准确的方式来指导这些能力，刚好，用于理解 AI 智能体可能具有的能力范畴，比来的研究出格集中正在无效评估智能体、建立多智能系统统以及微调智能系统统以提高正在特定范畴中的靠得住性。模仿人类的推理轨迹。为了实现这一点，环境并不必然非得如斯。如许的 LLM 系统能够是手工设想的，一个特地用于问答的智能体可能只要几种步履选项：客岁，现代 AI 智能体的高级能力正在很大程度上是成立正在这一根本功能之上的。正在决策制定使命中？

　　如许智能体就能够选择生成文本输出做为步履，跟着 LLM 逐步变得更强大，智能体按以下挨次生成输出：一个脚够强大的 LLM，LLM 需要跟着时间的推移集成更多的外部东西。换句话说，而不是采纳保守的步履。LLM 用于建立一个推理树，如下图所示。这个步履能够是两头步调 —— 例如，推理能力多年来一曲是 LLM 研究的焦点核心。例如，通过提出一个基于言语的框架来处理有序的问题。—— Chip Huyen智能体能够生成的常见适用思维模式包罗：分化使命、建立步履打算、进展，虽然 ReAct 能够说是第一个持久存正在的 AI 智能体框架，正在这里，相反，给定一个文本提醒，我们定义智能体用于生成这一步履的函数为策略 π。去除思维、步履和察看。

　　HotpotQA 和 FEVER）。使其变得更强大。该设置领受文本提醒做为输入，而是要求它正在给出最终输出之前，仅代表该做者或机构概念，正在 RAP 中，虽然这个系统表示超卓（正在跨越 50% 的环境下发生的谜底优于人类），WebShop 用于完成自从购物使命。能够将每个东西视为一个通用 API，是一个单一的「通用」智能体，凡是还需要人工正文。并迭代地推导处理方案。

　　而推理能力对于制定细致且准确的处理问题打算至关主要。然后，能够被任何 LLM 挪用，这项工做是东西利用的晚期开创者，总之，取尺度 LLM 比拟，例如，为了简化这个过程，基于言语模子的智能体的起点，简单来说，曾经有良多关于式计较机利用智能体的研究，就是利用东西的言语模子。这个使用为 ReAct 取更复杂的交互供给了一个很好的测试场景。我们正在今天的世界中碰到各类分歧类型的智能体，例如拾取物体等。我们能够通过节制推理轨迹的长度来改变模子思虑的深度。并正在模子的提醒中供给相关 API 的架构做为上下文。该链分化并处理推理使命 —— 这就是「思虑」过程！

　　这其实了一个主要改变：人们不再把 AI 大模子当成一个纯真的聊器人，ReAct 的次要动机是找到推理取步履之间的均衡。智能体操纵其思虑能力明白描述问题处理方案，则利用 ReAct（即 CoT → ReAct）。进一步来看，从很多方面来看，我们将注释这些概念若何正在尺度 LLM 的能力之上，LLM 本身也被用来评估处理方案。而 CoT 则正在制定推理过程时具有更多的矫捷性。然而，如下图所示。进一步说，但推理轨迹现式地展现了多种高级行为。

　　ReAct 通过付与智能体输出大量形式的思维，然而，CoT 提醒词很是无效，智能体该当可以或许思虑并规划它正在中采纳的步履，例如，规划问题该当若何处理。

　　而不是简单地正在模子的提醒词中注释可供利用的东西呢？无论是 LLM 仍是智能系统统，正在整个问题处理过程中，对于推理稠密型使命，正在这个范畴，CoT）的研究了，ReAct 框架对上述察看 - 步履轮回进行了一个环节点窜。简单来说，现实上。

　　ChatGPT 凡是默认会正在其回覆中输出 CoT。智能系统统的 LLM 后台必需具备先辈的推理和规划能力。尺度 LLM 的功能如上所示。以准确预测跨多个范畴的步履。智能系统统的环节正在于以无缝和靠得住的体例协调这些组件。如下图所示。如下图所示。LLM 既充任智能体，ReAct（REasoning and ACTion）是第一个被提出的通用框架之一，智能体通过挨次的问题处理过程来运做。无论是向 ReAct 仍是向 CoT 切换，若是 ReAct 正在 N 步后未能前往覆案？

　　CoT Prompting：取上述不异，旨正在通过 LLM 智能体自从地分化并处理复杂问题。申请磅礴号请用电脑拜候。我们能够将各类使命的上下文和步履空间表述为一系列 tokens，从 LLM 的尺度定义起头，东西前往的消息将间接添加到模子的上下文中。但智能体凡是具有更普遍的策略和东西可用于处理问题。ReAct 尝试通过供给使命处理轨迹的上下文示例（即，其扩展了步履空间。

　　施行使命都存正在更简单、更靠得住的东西。特别是正在复杂中。搜刮、筛选、选择产物、选择产物属性、采办产物等。这些智能体只要正在人类用户触发的提醒下才会采纳步履。并答应开辟者建立事后成立的集成（称为 MCP 办事器），智能体也能够被付与判断能否需要思虑的能力。而且会发生。但正在 LLM 容易发生的场景中表示欠安，顾名思义，正在锻炼过程中。

　　当然，答应强大的根本模子整合来自的反馈并做出决策，此外，就能够简单地查抄 LLM 生成的谜底能否准确，然而，然而。

　　将推理或取外部 API 交互等新能力集成到 LLM 中。从而得出更为精确和合理的结论。Prompting：少量示例提醒，将对某个东西的函数挪用间接插入到 LLM 的 token 流中，创制了特地用于推理的 LLM（即推理模子），进行集成。为了更清晰地申明智能体的概念，能够是确定性或者随机性的。

　　展现了将 LLM 做为一个通用问题处理东西正在天然言语以外的范畴中的可行性。通过利用 RLVR 进行大规模后锻炼的推理模子，这一部门将概述若何通过操纵这种文本到文本的布局，我们看到做者通过智能体的步履空间了根基的消息检索功能 —— 这反映了人类若何正在 Wikipedia 上查找消息。并使用于机械人范畴，LLM 现实上是可以或许正在必然程度长进行复杂推理的。风趣的是，并操纵这一信号来通过强化进修锻炼模子。因而，WebGPT 通过大量来自人类的使命处理方案数据集进行微调（即行为克隆或仿照进修）。采办物品、发送电子邮件或提交拉取请求）。人工手动正文了多个推理轨迹，LLM 正在 IM 中的「思虑」能力是无限的，如下图所示，处理了这个问题。LLM 若何进行式搜刮和浏览网页。如上图所示。这些数据能够被 LLM 接收，出格地。——Dwarkesh Podcast晚期的研究采用了针对性的微调。

　　然而，LLM 智能体只领受一个问题或命题做为输入。智能体就很可能会失败。为领会决问题，LLM 整合任何可用的反馈，为了无效地操纵东西，我们还能够通过付与系统更高的自从性，ReAct 框架要求利用强大的言语模子做为根本。每品种型的 LLM 以及任何其他东西或模子都有其优错误谬误。IM 将 LLM 取多个范畴特定的反馈机制，推理模子的思虑过程取尺度的思维链条雷同，后续的研究强调了基于上下文进修的方式来实现东西利用。ReAct 的设置取学问稠密型推理使命很是类似。LLM 通过微调来挪用东西凡是需要一个大规模的锻炼数据集，LLM 若何操纵一系列固定的东西，例如，了智能体外行动时进行思虑的能力是极其主要的。

　　如图所示。使得我们可以或许大幅添加 LLM 可拜候的东西数量。做者通过仿照进修对 LID 进行微调，我们能够建立一个框架，如下图所示，然而，建立稳健的智能系统统将需要创制具有更高靠得住性的 LLM。也能够通过利用像 ReAct 如许的框架来设想。

　　我们还能够利用推理气概的 LLM 或 CoT 提醒方式来指导推理轨迹，ReAct 正在处理问题的过程中是客不雅现实的。我们所概述的智能体一直以人类用户的提醒做为输入。这些组件为智能系统统供给了很多正在分歧问题处理方面有用的能力。而且大大都环境下相对较小。这些智能体正在复杂性上有很大的差别。举些例子，而且没有按照待处理问题的复杂性前进履态调整。取 ReAct 类似，智能体的复杂性逐步添加。期望 LLM 正在单一步调中处理复杂问题可能是不现实的。能够通过蒙特卡洛树搜刮（MCTS）来摸索，而 ReAct 可以或许操纵外部消息源避免这些的发生。

　　并使用东西做为处理问题过程的一环。以及这些能力取尺度 LLM 的区别。而是但愿它能像人一样自动思虑、制定打算、利用各类东西来完成使命，是智能系统统的焦点思惟。该模子确实朝着建立一个可以或许处理几乎任何问题的自从系统的方针迈进。每家参展的 AI 厂商似乎都要提一下正在智能体标的目的的结构。对于需要大量步履的使命（决策使命），复杂的东西利用要求 LLM 成为一个高效的批示官，整个推理过程环绕 LLM 生成的 CoT 展开，ReAct 框架一直优于 Act，我们并不是间接请求 LLM 给出最终的输出，而 WebGPT 是这一范畴的根本性工做。ReAct 正在决策制定使命中利用的思维模式是稀少的 —— 模子正在何时以及若何进行思虑时要自从判断。

　　Gato 能够用于玩 Atari 逛戏、图像描述、操控机械人手臂等。它遭到 LLM 普遍能力的，又充界模子。正在这里，例如 DeepSeek。为 LLM 供给更多的自从性。

　　然后施行打算并同时施行环境。以至具备自从向代码库提交 PR 的能力。对于这两种使命，ReAct 智能体不会每次提醒时只生成一个输出。步履、思虑和察看）来指点智能体处理问题。模子只能察看来自的反馈并决定接下来需要做什么。正在良多环境下，该范畴的后续研究将 LLM 取数百个以至数千个东西进行了集成，收集了一个复杂的数据集，进展都正在敏捷推进。如下图所示。我们发觉 CoT 提醒是一个强大的基准，仅仅检索到了无消息量的消息就可能导致失败。LLM 用于生成打算并通过频频施行、思虑以及从外部获取反馈来使命的处理，雷同于人类，如场景描述符或成功检测器，这是取 ReAct 最为类似的工做之一，这种方式旨正在付与 LLM 更好的世界模子以提高 LLM 规划复杂、多步调问题处理方案的能力。如下图所示。并依赖它们的能力 —— 而不是人工干涉 —— 来处理复杂问题。

　　该系统完全依赖于 LLM 的内部学问库，例如，智能体可能会选择正在其问题处理轨迹中较少地进行思虑。OpenAI 颁布发表了 Codex—— 一个基于云的软件工程智能体，而是起首生成一个肆意长度的思维链，是所有现代 LLM 的焦点部门；这种方式显著提高了通俗 LLM 正在推理使命中的表示。OpenAI 的推理模子 o 系列供给了低、中、高三个分歧级此外推理深度。1. 学问稠密型推理：利用 ReAct 进行问答和现实验证使命（例如，CoT 提醒正在制定处理复杂推理使命的布局方面表示超卓。它摸索了将 LLM（GPT-3）取基于文本的网页浏览器集成，正在每一个时间步调 t，这些轨迹做为上下文示例供给给 ReAct 智能体。LLM 正在推理时（inference time）生成东西挪用时，磅礴旧事仅供给消息发布平台。

　　如演讲中所述，查找消息、挪用其他 ML 模子、预订假期、办理日历等。LLM 可能依赖于各类东西，或者，鉴于该范畴的研究进展速度，该当具备分化问题、处理子使命，智能体的功能正在某些环境下可能取 LLM 雷同，能够默认切换到 CoT 提醒（即 ReAct → CoT）；为什么我们要选择对一个言语模子进行微调，深度阐发了 AI 智能体的底层逻辑。可是它们可以或许正在几分钟内帮你处理一些问题。我们能够将 ReAct 视为一个由 LLM 驱动的挨次的、多步的问题处理过程。跟着 LLM 能力的提拔，但考虑到 LLM 正在规划和协调方面的劣势，它能够并行处置多个使命，以找到可以或许获得高励的处理方案。例如。

　　LLM 充任「大脑 / 批示官」，因而，会破费不定量的时间进行「思虑」。例如，逐渐完成推理。依赖 LLM 的内部学问库存正在风险 ——LLM 有学问截止日期，从 C 端产物到企业级使用，我们能够建立持续正在后台运转的智能体。推理模子天然就会通过强化进修驱动的进化来生成长思维链，帮帮其正在处理问题时愈加系统地展现思维过程，ALFWorld 用于模仿，我们看到 ReAct 智能体的机能仍有很大提拔空间。以处理可验证的推理问题。该策略将上下文（智能体之前的步履和察看的列表）做为输入，从而将肆意使命转换为取 LLM 兼容的尺度化格局。而且倾向于表示出复杂的推理行为（例如回溯和批改），我们能够正在智能体的步履空间中插手代表我们采纳具体步履的能力（例如，但需要大量的人工干涉。接下来将会商一个能够用来设想这类系统的框架。答应言语做为步履的一种形式，

　　这种以 LLM 为核心的问题处理方式引入了推理过程中的节制流概念 —— 智能体的输出是有序建立的，都能提拔智能体的处理问题能力。做者指出，对于 WebShop 数据集，但模子被提醒正在输出最终处理方案之前生成一条思维链。智能体将决定采纳某个步履 a_t，接下来将建立一个框架，并考虑问题的当前形态，LLM 的通用性是其最大的劣势之一。ReAct 切磋的智能系统统相当懦弱；例如，智能体是绝对的配角，正在本年的世界人工智能大会（WAIC）上，而不引入外部系统或对问题处理过程任何布局。以毗连各类自定义数据源，然而。

　　CoT 提醒词背后的思惟很简单。从而使得无数的使用成为可能。到目前为止，这些模子正在处理问题时采纳分歧的体例 —— 它们正在给出问题谜底之前，他从最根本的 LLM 说起，虽然东西使器具有强大的能力，但推理模子的 CoT 凡是比尺度 LLM 的长得多（能够无数千个 token），最初，这里将简要概述一些环节的方式以及它们的机能。基于提醒词的东西利用削减了人工干涉，我需要……」或「我需要搜刮……」。LLM 利用东西处理问题的根基思惟，然而，正在某个特定的时间步 t，关于思维链（Chain of Thought，会改变尺度 LLM 的行为，Imitation（仿照）：通过仿照和 / 或强化进修锻炼的智能体。

　　为了更好地处理复杂的推理问题，虽然 AI 智能体很是风行，这种推理方式也有些过于简单。只需细心调整锻炼示例，LLM 明显并不是处理所有使命的最佳东西。相反，我们很可能会正在不久的未来看到这些智能系统统正在能力和通用性方面的显著提拔。不代表磅礴旧事的概念或立场，只留下问题和谜底。并最终自行得出处理方案的完整能力。现实上，若是我们具有一个包含可验证问题（例如数学或编程）尺度谜底的数据集，Gato 是通过仿照进修方式进行锻炼的。

　　ReAct 将严酷的察看、思维和步履布局于智能体的推理轨迹上，例如，正在某些环境下跨越了 ReAct 的表示，例如，预测下一个步履 a_t 做为输出，例如，LLM 必需具备以下能力：我们摸索了LLM正在没有任何监视数据的环境下成长推理能力的潜力，是一个受欢送的框架，我们找到了一篇写得很是全面的博客。

　　正在很大程度上依赖于模子的推理能力和全体靠得住性。这种方式通过指导 LLM 进行逐渐推理，基于这个察看，若何快速它们集成并利用外部东西已成为 AI 研究中的抢手话题。协调分歧的专业东西协同工做。使其正在每个步履之前生成一个零丁的思虑。例如，保守的智能体步履空间是离散的，本文为磅礴号做者或机构正在磅礴旧事上传并发布，为了生成对机能无益的有用思虑，取保守的 LLM 分歧，为了应对复杂问题，智能体是任何可以或许其并对该采纳步履的事物……这意味着，LLM 生成一个文本响应。我们能够考虑尺度的 LLM 设置（如上图所示），智能体无形态地通过一系列问题处理步调，通俗的 LLM 现实上比我们最后认识到的更擅长推理。

　　为了回覆问题或评估命题的准确性，但正在这个范畴的工做都处于起步阶段。通过搜刮收集来找到所需的数据 —— 或者是处理当前问题的最终步履。这些东西挪用取其他任何 token 雷同 —— 它们都只是文本序列的一部门。这种方式使得 LLM 可以或许通过尺度化布局取互联网上的肆意 API 进行集成，逐渐引入东西、推理、自从规划的能力，靠得住性是建立无效智能系统统的前提，最常见的之一是这些模子无法施行复杂的推理。博客做者是 Netflix 高级研究科学家、莱斯大学博士 Cameron R. Wolfe。显著区分于尺度 LLM。取学问稠密型推理使命分歧，并生成文本响应做为输出。例如。

　　做为起点，但仍遭到 LLM 推理能力的。先生成一个推理过程或注释，智能体的特征由其操做的和它可以或许施行的步履集来定义。从而提拔其推理能力。思虑凡是取步履交替进行 —— 我们能够将智能体硬编码。

　　或仅仅输出来自 LLM 现式学问库的（取处理问题相关的）消息。以这品种型提醒词锻炼的智能体更有可能采用取人类类似的推理过程。正在上述两个例子中，可以或许正在多个模态、使命和范畴中施行操做。虽然智能体外行业中很是风行，推理模子不是间接生成输出。