Agent 自进化：不改模型权重也能持续变强的自改进机制

本文是「Agent 基础与工程」系列专栏的第 15 篇。专栏总览参见：《Agent 基础认知与工程架构全景》。

大语言模型的基座权重在部署后是完全冻结的。但在企业真实应用中，外部业务环境不断演变：接口协议更新、报错形态发生变化、用户需求模式迁移。如果每次环境变更都依赖工程师人工排查日志并手动修改 Prompt，系统的维护成本将随时间呈指数级上升。

让 Agent “在运行中持续变强”并不意味着必须触发昂贵且容易引发灾难性遗忘的权重微调（Fine-Tuning）。通过将运行期获取的成功与失败经验沉淀为外化资产（Externalized Assets）——包括长期情景记忆、动态自举工具库与提示词策略迭代，Agent 能够在冻结权重的前提下实现工程级的闭环自进化。

为什么运行时自进化优于权重微调

在智能体工程落地中，依赖梯度下降更新权重的传统路线存在显著劣势：

维度 权重微调（Fine-Tuning / RLHF） 运行时外化自进化（In-Context Evolution）
样本需求量 通常需要数千至数万条高质量对齐数据 单样本或极少样本（1 ~ 5 次典型失败案例即可见效）
生效周期 天级或周级（数据清洗、分布式训练、评估回归） 分钟级（经验写入数据库或工具注册后即刻生效）
可解释性与撤销 极低（权重改变为黑盒隐式表征，破坏已有能力） 极高（生成的代码文件与反思文本完全人类可读，支持一键回滚）
算力与维护代价 极高（需要专用 GPU 训练集群） 极低（普通存储介质与轻量校验沙箱即可支撑）

通过将学习结果保存在模型外部的“外脑”（存储与代码库）中，系统得以兼具灵活性与安全性。

三大自进化工程机制

1. 经验反思学习（Reflexion Pattern）

当任务经过多次重试收敛或最终失败退出时，Harness 启动专职的复盘 Worker：

  • 分析执行轨迹中的关键分叉点；
  • 提炼出针对该具体场景的布尔型负向规避准则（如："在查询旧版网关日志时，时间戳必须转为 UTC 格式，否则会返回 400 错误"）；
  • 写入向量数据库。当新任务的目标向量与该失败场景余弦相似度高于阈值时，自动作为动态 Few-shot 规则前置注入上下文。

2. 工具创造与自举合成（Tool Synthesis）

这是 Agent 扩展行动空间最激进且有效的手段（类似 Voyager / Cradle 架构）：

  • 当模型在处理特定业务时，发现需要频繁组合 3 个底层工具并进行大量数据清洗；
  • 模型自主生成一段独立的封装代码（aggregate_financial_metrics.py），同时编写对应的单元测试用例；
  • Harness 将代码送入隔离的代码执行沙箱运行测试；
  • 单元测试 100% 跑通后，Harness 为其生成 JSON Schema 并将其动态注册进工具注册表，后续所有调用直接复用该原子化工具，降低多轮推理开销。

防中毒安全门禁（Anti-poisoning Gate）

自进化机制最致命的工程隐患是幻觉固化与恶意注入（Feedback Poisoning）：如果一次因偶然因素导致的错误判断被误认为是“通用真理”写入长期记忆，后续所有任务都将受到污染。

为了保障进化的确定性，必须设置严格的准入门槛：

  1. 半衰期衰减机制（Memory Half-Life）：为沉淀的每条反思记忆赋予初始置信度权重（如 1.0）。若该经验在后续被引用后任务成功，权重提升；若引用后任务仍失败，权重扣减；低于阈值（如 0.3）时自动逐出记忆库。
  2. 测试驱动的工具准入（Test-Driven Admission）：任何自动生成的工具代码，必须自带至少 3 组覆盖边界情况的单元测试，并在隔离沙箱内跑通，严禁无单测代码进入生产注册表。
  3. 人类终审（Human-in-the-loop）：对于带有外部副作用的工具创建或核心 System Prompt 的修改，系统自动生成 Pull Request，必须经由工程师审查后合入生产主分支。

动态工具自举合成器原生实现

以下使用 Python 原生演示一个具备代码生成、沙箱隔离测试验证与动态注册机制的工具自举系统：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
import inspect
import json
import subprocess
import sys
import tempfile
from typing import Dict, Any, Callable

class AutonomousToolRegistry:
    def __init__(self):
        self.active_tools: Dict[str, Callable] = {}

    def synthesize_and_register_tool(self, tool_name: str, code_snippet: str, test_code: str) -> bool:
        """
        验证并注册自举生成的工具代码
        """
        print(f"\n[工具合成中枢] 收到自举工具创建申请: {tool_name}")
        
        # 1. 构建沙箱校验临时脚本
        verification_script = f"""
{code_snippet}

# 自动化测试用例
{test_code}
print("__TESTS_PASSED__")
"""
        with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as tmp_file:
            tmp_file.write(verification_script)
            tmp_path = tmp_file.name

        # 2. 在独立子进程沙箱中运行测试（隔离环境）
        try:
            res = subprocess.run(
                [sys.executable, tmp_path],
                capture_output=True,
                text=True,
                timeout=5
            )
            if res.returncode == 0 and "__TESTS_PASSED__" in res.stdout:
                print(f"[沙箱验证通过] 单元测试全绿，允许动态注册工具: {tool_name}")
            else:
                print(f"[沙箱验证失败] 测试未通过:\nSTDOUT: {res.stdout}\nSTDERR: {res.stderr}")
                return False
        except subprocess.TimeoutExpired:
            print("[沙箱验证失败] 代码执行超时（可能存在死循环）")
            return False

        # 3. 动态加载合入本地注册表
        local_scope = {}
        exec(code_snippet, {}, local_scope)
        if tool_name in local_scope:
            self.active_tools[tool_name] = local_scope[tool_name]
            print(f"[成功接入生产] 工具 '{tool_name}' 已就绪，后续推理直接复用。")
            return True
        return False

if __name__ == "__main__":
    registry = AutonomousToolRegistry()

    # 模拟 Agent 在遇到高频文本清洗需求后，自主写出的一段代码与对应测试用例
    synthesized_code = """
def extract_ticket_ids(raw_log: str) -> list:
    import re
    return re.findall(r"TICKET-[0-9]{4,6}", raw_log)
"""
    validation_tests = """
assert extract_ticket_ids("Error at TICKET-1024 and TICKET-99999") == ["TICKET-1024", "TICKET-99999"]
assert extract_ticket_ids("No ticket here") == []
"""

    success = registry.synthesize_and_register_tool("extract_ticket_ids", synthesized_code, validation_tests)
    if success:
        # 直接调用新生成的自进化工具
        tool = registry.active_tools["extract_ticket_ids"]
        print("调用新工具结果:", tool("系统报警来自 TICKET-8888 节点"))

系列导航与参考