llmman

llmman serve 从不检查凭据。 OpenClaw 仍需要提供程序条目上的非空 apiKey，以便提供程序按配置计数。本页面使用 LLMMAN_API_KEY=llmman-local 和 apiKey: "${LLMMAN_API_KEY}"，镜像 OLLAMA_API_KEY=ollama-local 约定。字面值 apiKey: "llmman-local" 也可以。

对于 llmman.hybrid/... 和 llmman.provider/... 引用，llmman 将承载 OpenClaw 转发给托管提供商作为该提供商的 API 密钥。一个例外是文字占位符 llmman，它告诉守护程序使用自己的密钥。有关这两种模式，请参阅 Hybrid 推理 。诸如 llmman-local 之类的标记将被发送到托管提供商并在那里被拒绝。

在其环境中以 LLMMAN_HOST=0.0.0.0 启动的守护进程会在没有身份验证的情况下绑定每个接口。仅将 OpenClaw 指向您信任的网络内的 LAN 主机；没有 OpenClaw 可以发送且 llmman 强制执行的凭证。脱离环回可达的守护进程也拒绝为不提供任何内容的调用者使用自己的托管提供程序密钥。

${LLMMAN_API_KEY} 从网关进程环境或 ~/.openclaw/.env 解析。如果变量丢失，OpenClaw 会记录配置警告并将提供程序视为不可用，因此将导出放在网关可以读取的位置。请参阅 环境 。

llmman pull qwen3.8llmman serveecho 'LLMMAN_API_KEY=llmman-local' >> ~/.openclaw/.envopenclaw models set llmman/qwen3.8

使用 完整配置示例 作为提供程序条目，如果您希望服务器上下文与其完全匹配，请在守护程序环境中设置 LLMMAN_CONTEXT_LENGTH=65536。

上面的 Hybrid 配置 ：llmman.hybrid/qwen3.8,openai/gpt-5.6-luna 为 primary，LLMMAN_API_KEY 设置为 OpenAI 密钥，LLMMAN_CONTEXT_LENGTH 与该对的 contextWindow 匹配。将 openai/gpt-5.6-luna 添加到 fallbacks，以便停止的守护进程不会阻止回复。

未设置时，通过自定义 openai-completions 提供程序提供服务的本地模型会自动使用结构化 Tool Search。下面的显式设置固定了表面，保持可选功能可用，同时仅在需要时加载其架构。将上下文限制为主机可以在守护程序环境中使用 LLMMAN_CONTEXT_LENGTH=32768 运行：

{  agents: {    defaults: {      model: { primary: "llmman/qwen3.8" },    },  },  tools: {    toolSearch: { mode: "tools" },  },  models: {    providers: {      llmman: {        baseUrl: "http://127.0.0.1:17434/v1",        apiKey: "${LLMMAN_API_KEY}",        api: "openai-completions",        models: [          {            id: "qwen3.8",            name: "Qwen3.8 (llmman)",            reasoning: true,            input: ["text", "image"],            contextWindow: 32768,            contextTokens: 32768,            maxTokens: 4096,          },        ],      },    },  },}

仅当模型或服务器在工具模式上可靠地失败时才使用 compat.supportsTools: false；它完全禁用工具的使用。对于有意缩小代理范围的代理，首选 tools.profile 或每个代理工具策略。

当您将现有会话切换到无工具模型时，OpenClaw 会将早期的工具名称、参数和结果重播为助手文本。存储的会话历史记录保持不变。

运行多个守护进程时自定义提供者 ID；每个都有自己的主机、模型和超时：

{  models: {    providers: {      "llmman-fast": {        baseUrl: "http://mini.local:17434/v1",        apiKey: "${LLMMAN_API_KEY}",        api: "openai-completions",        models: [{ id: "qwen3.5:9b", name: "qwen3.5:9b", input: ["text"], contextWindow: 32768 }],      },      "llmman-large": {        baseUrl: "http://gpu-box.local:17434/v1",        apiKey: "${LLMMAN_API_KEY}",        api: "openai-completions",        timeoutSeconds: 420,        models: [{ id: "qwen3.8", name: "qwen3.8", reasoning: true, input: ["text", "image"], contextWindow: 131072 }],      },    },  },  agents: {    defaults: {      model: {        primary: "llmman-fast/qwen3.5:9b",        fallbacks: ["llmman-large/qwen3.8"],      },    },  },}

llmman 本身也可以池化多个守护进程：llmman config set aggregation.peers <host>,<host>（或 LLMMAN_PEERS）使一个守护进程转发到对等点，因此 OpenClaw 会看到其模型列表跨越该组的单个端点。

模型 ID 是 llmman 解析的任何内容。使用完整参考拉取并使用与 OpenClaw 模型 ID 相同的字符串：

llmman pull hf.co/unsloth/Qwen3.5-0.8B-GGUFllmman pull ghcr.io/myorg/private-model:v1

{  models: {    providers: {      llmman: {        baseUrl: "http://127.0.0.1:17434/v1",        apiKey: "${LLMMAN_API_KEY}",        api: "openai-completions",        models: [          { id: "hf.co/unsloth/Qwen3.5-0.8B-GGUF", name: "Qwen3.5 0.8B", input: ["text"] },          { id: "ghcr.io/myorg/private-model:v1", name: "Private model", input: ["text"] },        ],      },    },  },}

代理参考号为 llmman/hf.co/unsloth/Qwen3.5-0.8B-GGUF。首先针对私有注册表运行 llmman login <registry>。

LLMMAN_CONTEXT_LENGTH 是服务器端上下文（没有标志）。后端语义：

• **llama-server （GGUF）：**集合，一代模型传递为--ctx-size； 0 表示经过训练的上下文。未设置时，llmman 使用 262144 或模型的训练上下文（如果较小），并且在内存不足重试时，上下文减半至 16,384 层。
• **vLLM（安全张量）：**正值变为--max-model-len；取消设置使用 vLLM 默认值。
• mlx_lm.server： 未转发。

LLMMAN_NUM_PARALLEL 按该系数放大 --ctx-size，以便每个插槽保留完整的上下文。

在 OpenClaw 一侧，contextWindow 声明模型的窗口，contextTokens 限制活动输入。保持 contextWindow 等于或低于服务器值； OpenClaw 从中导出压缩和预检阈值。 OpenClaw的contextWindow不会改变llmman的混合字节预算；按照 Hybrid config 中的说明单独配置守护程序。

{  models: {    providers: {      llmman: {        models: [          {            id: "qwen3.8",            name: "qwen3.8",            contextWindow: 65536,            contextTokens: 49152,            maxTokens: 8192,          },        ],      },    },  },}

Qwen3.8 默认认为； llmman 返回推理为 reasoning_content，OpenClaw 的 openai-completions 适配器将其与最终文本分开。请求被代理到 llama-server，因此 chat_template_kwargs 通过。要关闭对代理轮流的思考，使用本地 Qwen 模型：

{  agents: {    defaults: {      models: {        "llmman/qwen3.8": {          params: {            chat_template_kwargs: { enable_thinking: false },          },        },      },    },  },}

对于每次运行或会话控制，声明本地 Qwen 模型的思维格式：

{  models: {    providers: {      llmman: {        models: [          {            id: "qwen3.8",            name: "Qwen3.8 (llmman)",            reasoning: true,            input: ["text", "image"],            compat: { thinkingFormat: "qwen-chat-template" },          },        ],      },    },  },}

通过此声明，openclaw agent --model llmman/qwen3.8 --thinking off、/think off 和 openclaw infer model run --local --model llmman/qwen3.8 --thinking off --prompt "Reply with exactly: pong" --json 将思维设置映射到 chat_template_kwargs.enable_thinking。如果没有它，通用代理默认不发送此控件或 reasoning_effort。

精益infer model run路径不会读取上面的代理级params配方；使用兼容性声明和 --thinking off 进行该检查。不要将固定 enable_thinking 代理参数与每次运行控制相结合，因为固定参数会覆盖生成的值。仅当混合引用的本地和托管后端都接受它们时，才将 Qwen- 特定控件应用于混合引用。

模型在第一个请求时加载，每个模型在其自己的后端子进程中加载​​，并在五分钟空闲分钟后卸载。调音：

llmman ps 显示加载的模型及其上下文和到期时间； llmman stop <model> 现在卸载一个。启动后的第一个请求或空闲卸载会支付加载成本，因此在提供程序上设置 timeoutSeconds 并提高 LLMMAN_KEEP_ALIVE 以使守护进程对聊天界面保持温暖。

llmman 检查 CUDA、ROCm、Vulkan （Linux/Windows） 或 Metal （macOS），如果 PATH 上没有，则下载匹配的 llama-server 版本。使用 LLMMAN_LLM_LIBRARY 覆盖：cpu、cuda、cuda13、rocm、vulkan 或 metal。其他旋钮：LLMMAN_FLASH_ATTENTION（on/off/auto）、LLMMAN_KV_CACHE_TYPE（f16、q8_0、q4_0）、LLMMAN_SCHED_SPREAD用于多层分割，GPU LLMMAN_IGPU_ENABLE 用于计算集成 GPU 数量。在 Linux 上，llmman serve --ociman docker|podman 从 ghcr.io/ggml-org/llama.cpp 映像运行 llama-server，而不是本地二进制文件。 LLMMAN_DEBUG=1 打印检查结果。

llmman 为 GGUF 嵌入模型提供 /v1/embeddings 服务，因此 内存搜索 可以通过通用 openai-compatible 嵌入提供程序使用它：

llmman pull embeddinggemma

{  memory: {    search: {      provider: "openai-compatible",      model: "embeddinggemma",      remote: {        baseUrl: "http://127.0.0.1:17434/v1",        apiKey: "${LLMMAN_API_KEY}",      },    },  },}

来自 Ollama？ llmman 还为 /api/embed 提供服务，因此 ollama 提供程序仅与新的 remote.baseUrl（无 /v1）配合使用。提取相同的模型名称，然后运行 ​​openclaw memory index --force，以便每个向量都来自一台服务器：

{  memory: {    search: {      provider: "ollama",      model: "embeddinggemma",      remote: { baseUrl: "http://127.0.0.1:17434" },    },  },}

无论 LLMMAN_CONTEXT_LENGTH 是多少，嵌入模型都仅限于其经过训练的上下文。其余字段请参见 Memory config。

llmman 还实现了 Ollama 的原生 /api/chat、/api/tags、/api/show 和 /api/ps，而 OLLAMA_HOST=127.0.0.1:17434 ollama run <model> 与之相反。本机路由也适用于 OpenClaw。使用自定义提供商 ID，例如 llmman，而不是 ollama：该 id 上的发现读取 llmman 的 /api/show，它仅报告 completion 和 vision，并标记每个模型 compat.supportsTools: false。设置 api: "ollama"，省略 /v1，并显式列出模型：

{  models: {    providers: {      llmman: {        baseUrl: "http://127.0.0.1:17434",        apiKey: "${LLMMAN_API_KEY}",        api: "ollama",        models: [          {            id: "qwen3.8",            name: "Qwen3.8 (llmman)",            reasoning: true,            input: ["text", "image"],            contextWindow: 65536,            maxTokens: 8192,          },        ],      },    },  },}

llmman 将消息内容和工具模式转发到后端而不对其进行规范化，因此兼容性取决于所选的引擎和模型。结构化内容部分（文本 + 图像）和 OpenClaw 的完整工具架构可与 llama-server 上的 qwen3.8 配合使用。如果不同的后端或模型拒绝它们：

• messages[].content: invalid type: sequence, expected a string → 在模型条目上设置 compat.requiresStringContent: true。 OpenClaw 然后将纯文本内容部分展平为纯字符串。
• 400 JSON schema conversion failed → llama-server 无法将工具模式编译到其语法子集中。先更新OpenClaw；如果第三方工具或 MCP 服务器提供了有问题的架构，请为该代理禁用它，并仅将 compat.supportsTools: false 作为最后的手段。

{  models: {    providers: {      llmman: {        models: [          {            id: "qwen3.8",            name: "qwen3.8",            compat: {              requiresStringContent: true,            },          },        ],      },    },  },}

由于 llmman 是非本机 openai-completions 端点，因此 OpenClaw 将其视为代理路由：无 service_tier、无响应 store、无提示缓存提示、无 OpenAI 推理兼容负载整形、无隐藏OpenClaw 归属标头，并且 compat.supportsDeveloperRole 强制为 false。供应商特定字段可以通过 agents.defaults.models["llmman/<model>"].params.extra_body 合并到请求正文中。

本地 llmman 模型是免费的，因此将所有成本设置为 0。混合或 llmman.provider/... 参考的托管一半由该提供商计费； llmman list --provider openai 显示其每百万代币的价格。

llmman serve 未运行或无法在配置的地址访问。默认为127.0.0.1:17434；如果设置了 LLMMAN_HOST，请更新 OpenClaw、baseUrl 和 healthUrl 以匹配。

llmman servecurl http://127.0.0.1:17434/api/version

配置警告中的 models.providers.llmman.apiKey: *** env var "LLMMAN_API_KEY" 表示替换没有发现值。将 LLMMAN_API_KEY=llmman-local 添加到 ~/.openclaw/.env，或将 "${LLMMAN_API_KEY}" 替换为文字 "llmman-local"。

模型未拉取，或者配置中的 id 与 llmman 解析的不匹配。与llmman list比较；短名称映射到 docker.io/ai/<name>:latest，owner/repo 名称映射到 hf.co/owner/repo。

llmman pull qwen3.8llmman list

大型模型可能需要几分钟才能加载，尤其是在空闲卸载后的第一个请求时。提高 models.providers.llmman.timeoutSeconds，用第一个 openclaw infer model run 预热模型，并考虑在守护进程上使用更长的 LLMMAN_KEEP_ALIVE。

llmman 将请求路由到托管部分，但发现没有可用的密钥。发送的承载 OpenClaw 是一个标记 （llmman-local） 而不是真正的密钥，或者您使用了 llmman 占位符而没有为守护进程提供自己的 OPENAI_API_KEY，或者守护进程被绑定到环回并拒绝使用自己的密钥。请参阅 托管提供商密钥 。

检查守护进程日志；每个路由请求都会记录侧面和原因。除非设置了 x-llmman-route，否则路由是根据 LLMMAN_CONTEXT_LENGTH 的请求正文大小（每个令牌 4 个字节）进行的。降低 LLMMAN_HYBRID_LOCAL_BYTES 可以更快溢出，提高它可以在本地停留更长时间，或者用提供者 headers 条目固定一侧，如 固定一侧 中所示。

两项检查都是免工具的，因此compat.supportsTools无法改变这一故障。检查配置的基础 URL、模型 id 和 LLMMAN_API_KEY，检查守护程序和后端日志，并比较两个请求负载。

代理轮流添加了更大的提示和工具模式。 400 JSON schema conversion failed 是拒绝工具模式的 llama-server；更新OpenClaw并检查第三方工具或MCP服务器。否则，启用 Tool Search 来推迟模式，确认服务器的实际上下文分配，并仅将 compat.supportsTools: false 作为最后的手段。请参阅 更小或更严格的后端。

如果架构错误消失，但生成的 llama-server 在较大转弯时仍然崩溃，请将其视为上游 llama.cpp 或模型限制。降低LLMMAN_CONTEXT_LENGTH，设置LLMMAN_KV_CACHE_TYPE=q8_0减少内存，或者切换后端或模型。

确认模型的聊天模板支持工具调用并且请求已达到/v1/chat/completions（不是Ollama or Anthropic通过代理表面）。如果模型仅在强制时调用工具，请设置params.extra_body.tool_choice: "required"在该模型参考上，如所述本地模型。