跳到主要内容

构建上下文引擎插件

上下文引擎插件用于用替代策略替换内置的 ContextCompressor,以管理对话上下文。例如,构建一个无损上下文管理(LCM)引擎,使其构建知识有向无环图(DAG),而不是进行有损摘要。

工作原理

智能体的上下文管理基于 ContextEngine ABC(agent/context_engine.py)。内置的 ContextCompressor 是默认实现。插件引擎必须实现相同的接口。

同一时间只能激活一个上下文引擎。选择是基于配置驱动的:

# config.yaml
context:
engine: "compressor" # 默认内置
engine: "lcm" # 激活名为 "lcm" 的插件引擎

插件引擎绝不会自动激活——用户必须显式地将 context.engine 设置为插件的名称。

目录结构

每个上下文引擎都位于 plugins/context_engine/<name>/

plugins/context_engine/lcm/
├── __init__.py # 导出 ContextEngine 子类
├── plugin.yaml # 元数据(名称、描述、版本)
└── ... # 您的引擎所需的任何其他模块

ContextEngine ABC

您的引擎必须实现这些必需方法:

from agent.context_engine import ContextEngine

class LCMEngine(ContextEngine):

@property
def name(self) -> str:
"""简短标识符,例如 'lcm'。必须与 config.yaml 的值匹配。"""
return "lcm"

def update_from_response(self, usage: dict) -> None:
"""在每次 LLM 调用后,使用 usage 字典调用。

从响应中更新 self.last_prompt_tokens, self.last_completion_tokens,
self.last_total_tokens。
"""

def should_compress(self, prompt_tokens: int = None) -> bool:
"""如果本轮需要进行压缩,则返回 True。"""

def compress(self, messages: list, current_tokens: int = None) -> list:
"""压缩消息列表并返回一个新的(可能更短的)列表。

返回的列表必须是有效的 OpenAI 格式消息序列。
"""

您的引擎必须维护的类属性

智能体直接读取这些属性用于显示和日志记录:

last_prompt_tokens: int = 0
last_completion_tokens: int = 0
last_total_tokens: int = 0
threshold_tokens: int = 0 # 触发压缩的阈值
context_length: int = 0 # 模型的完整上下文窗口
compression_count: int = 0 # compress() 运行的次数

可选方法

这些方法在 ABC 中有合理的默认值。根据需要覆盖:

方法默认值何时覆盖
on_session_start(session_id, **kwargs)无操作您需要加载持久化状态(DAG、DB)
on_session_end(session_id, messages)无操作您需要刷新状态、关闭连接
on_session_reset()重置 token 计数器您有需要清除的会话级状态
update_model(model, context_length, ...)更新 context_length + threshold模型切换时需要重新计算预算
get_tool_schemas()返回 []您的引擎提供智能体可调用的工具(例如 lcm_grep
handle_tool_call(name, args, **kwargs)返回错误 JSON您实现了工具处理器
should_compress_preflight(messages)返回 False您可以进行廉价的预 API 调用估算
get_status()标准 token/threshold 字典您有需要暴露的自定义指标

引擎工具

上下文引擎可以暴露智能体直接调用的工具。通过 get_tool_schemas() 返回模式,并在 handle_tool_call() 中处理调用:

def get_tool_schemas(self):
return [{
"name": "lcm_grep",
"description": "搜索上下文知识图谱",
"parameters": {
"type": "object",
"properties": {
"query": {"type": "string", "description": "搜索查询"}
},
"required": ["query"],
},
}]

def handle_tool_call(self, name, args, **kwargs):
if name == "lcm_grep":
results = self._search_dag(args["query"])
return json.dumps({"results": results})
return json.dumps({"error": f"未知工具: {name}"})

引擎工具在启动时注入到智能体的工具列表中并自动分派——无需注册表注册。

注册

通过目录(推荐)

将您的引擎放置在 plugins/context_engine/<name>/__init__.py 必须导出 ContextEngine 子类。发现系统会自动找到并实例化它。

通过通用插件系统

通用插件也可以注册上下文引擎:

def register(ctx):
engine = LCMEngine(context_length=200000)
ctx.register_context_engine(engine)

只能注册一个引擎。第二个尝试注册的插件将收到警告并被拒绝。

生命周期

1. 引擎实例化(插件加载或目录发现)
2. on_session_start() — 对话开始
3. update_from_response() — 每次 API 调用后
4. should_compress() — 每一轮都会检查
5. compress() — 当 should_compress() 返回 True 时调用
6. on_session_end() — 会话边界(CLI 退出、/reset、网关过期)

on_session_reset() 在执行 /new/reset 时调用,用于清除会话级状态,而无需完全关闭。

配置

用户可以通过 hermes plugins → Provider Plugins → Context Engine 选择您的引擎,或通过编辑 config.yaml

context:
engine: "lcm" # 必须与您的引擎的 name 属性匹配

compression 配置块(compression.thresholdcompression.protect_last_n 等)是特定于内置 ContextCompressor 的。如果需要,您的引擎应定义自己的配置格式,并在初始化期间从 config.yaml 读取。

测试

from agent.context_engine import ContextEngine

def test_engine_satisfies_abc():
engine = YourEngine(context_length=200000)
assert isinstance(engine, ContextEngine)
assert engine.name == "your-name"

def test_compress_returns_valid_messages():
engine = YourEngine(context_length=200000)
msgs = [{"role": "user", "content": "hello"}]
result = engine.compress(msgs)
assert isinstance(result, list)
assert all("role" in m for m in result)

有关完整的 ABC 合同测试套件,请参阅 tests/agent/test_context_engine.py

另请参阅