用三步代码分流测试把 MiniMax H3 hype 变成实证

为什么Trending不等于测试结果

当一个模型名称迅速走红，你看到的只是热度分布，而非能力本身。一个模型走红可能是因为便宜、新颖、营销得好，或者只是因为大家觉得好玩想试试。这些都不能告诉你它是否能在你的 CI 环境中以你能承受的成本解析 semver 字符串。

真正有用的问题不是"H3 好不好？"而是"我能不能在自己的测试框架中复现一个弱正向信号，而不用花上整个下午？"

这时，免费模型和免费服务器就成了实用的选择。MonkeyCode 提供的免费模型访问和免费服务器选项（正如产品推广中所述）让你能够运行同样的可抛弃实验，而无需拥有大型 GPU 或首先绑定一个付费端点。这里的开源精神不是一种许可证声明；而是消除访问障碍，让你能够验证而非盲信。

你将构建一个小规模评测，测试三个编码任务。目标不是排名模型，而是抓住那些浪费开发者时间的失败模式：不可执行的输出、错误的签名、隐藏的依赖项，以及超时。

1. 建立一个干净的目录

mkdir triage-h3 && cd triage-h3
python -m venv .venv && source .venv/bin/activate
pip install pytest requests
mkdir -p cases generated

你只需要 pytest 和 requests。不需要全局包，不需要项目级配置。

2. 定义三个小用例

创建 cases.py，包含三个用例。每个用例有 ID、prompt 和测试块。测试块是普通的 pytest 代码，会导入 runner 生成的 solution.py 文件。

CASES = [
    {
        'id': 'semver_parse',
        'prompt': 'Write a single Python function parse_semver(s) that returns (major, minor, patch) as ints for a valid semver string with optional v prefix. Raise ValueError otherwise. Include only the function, no examples or markdown fences.',
        'test': '''
def test_semver_parse():
    from solution import parse_semver
    assert parse_semver('1.2.3') == (1, 2, 3)
    assert parse_semver('v10.20.30') == (10, 20, 30)
    import pytest
    with pytest.raises(ValueError):
        parse_semver('1.2')
'''
    },
    {
        'id': 'flatten_nested',
        'prompt': 'Write a single Python function flatten(obj) that recursively flattens a nested dict into a flat dict with dot-separated keys. Include only the function, no examples or markdown fences.',
        'test': '''
def test_flatten():
    from solution import flatten
    assert flatten({'a': {'b': 1}, 'c': 2}) == {'a.b': 1, 'c': 2}
'''
    },
    {
        'id': 'safe_divide',
        'prompt': 'Write a single Python function safe_divide(a, b) that returns a / b for finite numbers and returns None when b is zero or when inputs are not finite numbers. Include only the function, no examples or markdown fences.',
        'test': '''
def test_safe_divide():
    from solution import safe_divide
    assert safe_divide(8, 2) == 4.0
    assert safe_divide(8, 0) is None
    assert safe_divide(8, float('inf')) is None
'''
    },
]

这些任务刻意做得很小。如果一个模型在干净环境中都无法通过这些测试，更长的 agent 任务也不会更可靠。

3. 通过 pytest 运行模型

创建 run_eval.py。脚本调用 OpenAI 兼容的 /chat/completions 端点——参见 Chat Completions API 参考——提取第一个 Python 代码块，将其写入临时目录的 solution.py，然后针对相应测试运行 pytest。

import argparse
import importlib.util
import json
import os
import subprocess
import sys
import tempfile
import time
from pathlib import Path

import requests

def call_model(prompt, api_base, api_key, model_id, timeout=120):
    url = api_base.rstrip('/') + '/chat/completions'
    response = requests.post(
        url,
        headers={'Authorization': f'Bearer {api_key}'},
        json={
            'model': model_id,
            'messages': [{'role': 'user', 'content': prompt}],
            'temperature': 0,
        },
        timeout=timeout,
    )
    response.raise_for_status()
    return response.json()['choices'][0]['message']['content']

def extract_python(text):
    fence = '```
python'
    if fence in text:
        return text.split(fence, 1)[1].split('
```', 1)[0]
    return text

def run_case(case, api_base, api_key, model_id):
    started = time.time()
    raw = call_model(case['prompt'], api_base, api_key, model_id)
    elapsed = time.time() - started
    code = extract_python(raw)

    with tempfile.TemporaryDirectory() as tmp:
        tmp_path = Path(tmp)
        (tmp_path / 'solution.py').write_text(code)
        (tmp_path / 'test_solution.py').write_text(case['test'])
        result = subprocess.run(
            [sys.executable, '-m', 'pytest', '-q'],
            cwd=tmp_path,
            capture_output=True,
            text=True,
            timeout=180,
        )
        return {
            'id': case['id'],
            'passed': result.returncode == 0,
            'elapsed_seconds': round(elapsed, 2),
            'stdout': result.stdout[-1000:],
            'stderr': result.stderr[-1000:],
            'raw_response_prefix': raw[:400],
        }

def main():
    parser = argparse.ArgumentParser()
    parser.add_argument('--cases', default='cases.py')
    parser.add_argument('--model-id', default=os.environ.get('MODEL_ID', 'mini-max-h3'))
    parser.add_argument('--api-base', default=os.environ.get('API_BASE'))
    parser.add_argument('--api-key', default=os.environ.get('API_KEY'))
    args = parser.parse_args()

    if not args.api_base or not args.api_key:
        sys.exit('Set API_BASE and API_KEY before running.')

    spec = importlib.util.spec_from_file_location('cases', args.cases)
    cases_module = importlib.util.module_from_spec(spec)
    spec.loader.exec_module(cases_module)
    cases = cases_module.CASES

    results = []
    for case in cases:
        try:
            result = run_case(case, args.api_base, args.api_key, args.model_id)
        except Exception as exc:
            result = {
                'id': case['id'],
                'passed': False,
                'error': f'{type(exc).__name__}: {exc}',
                'elapsed_seconds': None,
            }
        results.append(result)
        print(json.dumps(result, indent=2))

    passed = sum(1 for r in results if r.get('passed'))
    print(f'RESULT {passed}/{len(results)} passed', file=sys.stderr)

if __name__ == '__main__':
    main()

export API_BASE='https://your-endpoint.example/v1'
export API_KEY='your-key'
export MODEL_ID='mini-max-h3'
python run_eval.py --cases cases.py

3/3 的结果是弱正向信号，不是基准测试的胜利。0/3 或 1/3 的结果告诉你，这个模型还没有准备好承担这类单次编码助手工作，无论它的演示帖多么令人信服。

失败模式的决策表

当一个用例失败时，记录失败模式，而不只是说"它失败了"。这让一次性好奇变成了可复用的分类记录。

如果手头有数据，你可以添加模型 ID、日期、端点和成本等列。关键是让结果可以被同事或在三个星期后的你复现。

一个干净的免费服务器运行真正有价值的地方

在可抛弃环境中运行这个测试框架，才让结果可信。如果你在自己的笔记本电脑上运行，你可能会意外受益于缓存的包、全局配置或 shell 状态。免费服务器选项让你能够从干净的 base image 起步，只安装 pytest requests，运行测试框架，然后丢弃这个实例。

MonkeyCode 的免费模型访问和免费服务器选项与此相关，因为它们降低了干净运行的门槛。在你知道模型能否处理三用例契约测试之前，你不需要付费端点。有意义的开源精神是：artifact 应该是可移植的，端点应该是可替换的，你的结论不应该依赖于某个供应商的仪表盘。这并不要求 MonkeyCode 以开源方式许可，本文也不做这种许可证声明。

局限性与下一步

这不是基准测试。它不测量长时域 agent 编码、仓库级规划、安全特性，或在你实际代码库上的性能。这三个任务刻意做得简单，所以它们只能告诉你一个模型何时对基本单次编码工作不可信。通过不等于证明模型擅长你的工作；它只证明模型在干净环境中越过了一条低门槛。

不要从社交帖子中推断 MiniMax H3 的细节。如果你计划写关于 H3 的内容，请阅读模型卡或主要发布说明，了解参数数量、许可证、上下文窗口、速率限制和已知限制。本文中的模型 ID mini-max-h3 是占位符，替换为你的提供商给你的端点标识符。

如果你需要可发布的精度数字，如果你正在合规审查下做出生产级模型选择，或者你需要在一个真实仓库上评估多轮 agent 行为，请跳过此工作流。这个分类方法适用于你投入时间进行更深度评估之前的阶段，不是替代深度评估。

你的下一步：如果你已经能访问 MonkeyCode 的免费模型或免费服务器选项，现在就运行这个测试框架并将 JSON 结果与用例文件一起存储。如果你使用其他 OpenAI 兼容端点，替换 API_BASE、API_KEY 和 MODEL_ID，然后运行同样的三个用例。然后在评论区或与你的团队分享你的通过/失败模式，或你遇到的第一个失败模式。下次一个新模型名称走红时，你将只需一条命令就能得到弱正向信号，而不是花整个下午看未经证实的演示。