LLM 可解释性实战：用 Sparse Autoencoder 破解 Transformer 黑盒

在生产环境中部署大语言模型，优化延迟和成本只是基本要求。随着系统变得越来越自主化（agentic）、上下文扩展到数十万 token，理解模型为何产生某个特定输出，已成为安全、调试和合规的前置条件。可解释性（Interpretability）正是架设在黑盒行为与工程化可靠性之间的桥梁。本文将探讨让 LLM 更加透明的实用技术，并展示 Oxlo.ai 如何降低这一研究领域常见的基础设施摩擦。

机械可解释性与稀疏自编码器

机械可解释性（Mechanistic interpretability）旨在将神经网络计算逆向工程为人类可理解的算法。其中最有前景的工具之一是稀疏自编码器（Sparse Autoencoder, SAE），它将 Transformer 的隐藏状态分解为稀疏、可解释的特征。

在模型的残差流（residual stream）上训练 SAE，可以识别出单语义特征（monosemantic features）：即与"Python 语法"、"法律免责声明"或"日期"等具体概念对应的神经元或方向。当 DeepSeek R1 671B MoE 或 GLM 5 等模型在本地运行时，可以附加前向钩子（forward hooks）来提取任意层的激活值，在这些激活值上训练 SAE，然后检查给定输入会触发哪些特征。

以下是使用 PyTorch 从开源权重模型中捕获残差流激活值的最小示例：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "deepseek-ai/DeepSeek-R1"  # or local checkpoint
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name, torch_dtype=torch.bfloat16, device_map="auto"
)

activations = {}

def capture_hook(name):
    def hook(module, input, output):
        activations[name] = output.detach()
    return hook

# Attach to a specific layer
layer_idx = 20
model.model.layers[layer_idx].register_forward_hook(
    capture_hook(f"layer_{layer_idx}")
)

text = "def fibonacci(n):"
inputs = tokenizer(text, return_tensors="pt").to(model.device)
with torch.no_grad():
    model(**inputs)

print(activations[f"layer_{layer_idx}"].shape)

本地执行虽能访问内部状态，但生成验证特征所需的数千个反事实提示（counterfactual prompts）计算成本极高。Oxlo.ai 使这一过程变得可扩展。由于 Oxlo.ai 采用基于请求的定价而非基于 token 的计费，运行 10,000 次长上下文评估来测试某个 SAE 特征，无论提示词是 100 token 还是 100,000 token，每次请求的成本都是相同的。对于漫长的自主化任务或 DeepSeek V4 Flash 这类 1M 上下文模型，这种可预测性消除了基于 token 供应商对大规模可解释性审计施加的成本壁垒。

注意力可视化与归因

注意力图（Attention maps）揭示了模型在推理过程中优先处理哪些 token。然而，原始注意力权重可能具有误导性，因为它们混合了前一层的的信息。注意力 rollout 和注意力归因（attention attribution）通过考虑残差连接和层的组合来修正这一问题。

对于基于生产环境 API 的系统，并不总能访问内部注意力矩阵。这时可以通过 logprob 趋势和重复采样间接地获得归因信号。如果在本地运行开源权重模型，BertViz 等库或手动钩子提取可以让你可视化专门处理语法、指代消解或检索的头部。

Oxlo.ai 托管了超过 45 种模型，涵盖多种架构，包括 Qwen 3 32B、Llama 3.3 70B、Kimi K2.6 和 Mistral。由于该平台暴露了完全 OpenAI 兼容的端点，你可以用同一个 SDK 客户端在整个模型目录上运行行为归因实验。只需更换模型名称，保留相同的评估框架，比较不同注意力机制如何处理相同的 long-context 检索任务。

Logit Lens 与 Steering Vectors

Logit lens 是一个简洁而强大的诊断工具：将任意层的隐藏状态直接投影到词表上，看看模型在最后一层之前在想什么。如果中间层已经以高置信度预测了最终 token，说明模型可能提前解决了任务。

Steering vectors 则更进一步，它主动修改行为。你在激活空间中计算一个与某属性（如"拒绝"或"Python 代码"）对应的方向，然后在前向传播中添加或减去这个方向。

import torch

def add_steering_vector(module, input, output):
    # output shape: (batch, seq_len, hidden_dim)
    steering = torch.load("refusal_vector.pt").to(output.device)
    # Amplify or suppress the behavior
    output[:, -1:, :] += 2.5 * steering
    return output

# Register on a specific layer
handle = model.model.layers[15].register_forward_hook(
    add_steering_vector
)

Steering 需要访问模型权重，但跨多样化场景验证干预措施需要大规模推理。Oxlo.ai 的扁平按请求定价消除了在长文档或多轮对话上测试 steering 策略的额外成本。你可以在 Kimi K2.6 的 131K 上下文中或 Minimax M2.5 的自主化工具使用链上验证某个 steering vector 是否具有泛化能力，而不必看着 token 计量器不断累积。

行为一致性分析与基于 API 的探测

并非每个团队都有 GPU 资源在本地运行 671B 参数的模型。基于 API 的可解释性关注的是从输入和输出中可以推断出什么。常用技术包括：

• 一致性检查（Consistency checks）：在 temperature > 0 的条件下采样多个补全结果，测量语义一致性。高方差通常表示不确定性或幻觉。
• Logprob 分析：跟踪每个 token 的概率，检测置信度的急剧下降。
• 对比提示（Contrastive prompting）：用反事实上下文提示模型，比较输出分布。

以下是一个使用 OpenAI SDK 指向 Oxlo.ai 的最小化一致性探测示例：

from openai import OpenAI
import numpy as np

client = OpenAI(
    base_url="https://api.oxlo.ai/v1",
    api_key="YOUR_OXLO_API_KEY"
)

def consistency_score(prompt, model="deepseek-r1-671b", n=5):
    responses = []
    for _ in range(n):
        resp = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            temperature=0.8,
            max_tokens=256
        )
        responses.append(resp.choices[0].message.content)

    # Simple lexical similarity proxy
    from difflib import SequenceMatcher
    scores = [
        SequenceMatcher(None, responses[i], responses[j]).ratio()
        for i in range(n) for j in range(i + 1, n)
    ]
    return np.mean(scores)

score = consistency_score(
    "Explain the implications of the Berne Convention on digital copyright."
)
print(f"Consistency: {score:.2f}")

由于 Oxlo.ai 按请求收费而非按 token 收费，你可以在长法律文档或 1M 上下文窗口上运行 1,000 次对比探测，每次调用的成本固定不变。在为安全关键型部署迭代评估套件时，这种可预测性至关重要。

生产环境监控