8.0
热点
AI SCORE
技术实践2026-08-13 12:59
AMD收购Taalas：芯片级AI推理的时代来了
dev.to · AI#AMD#AI芯片#推理优化
Editor brief · 编辑速览
AMD收购Taalas获得专用AI推理芯片HC1，内存带宽利用率远超GPU，但生态和软件栈成熟度是主要挑战。
Published August 7, 2026 · 14 min read
内存墙：那个拖垮 AI 推理的瓶颈
什么是模型专用集成电路（MSIC）？
深入解析 Taalas HC1 芯片：架构详解
一个晶体管的技巧：Mask-ROM 如何编码权重
性能对比：比 B200 快 48 倍，比 Cerebras WSE 快 8.5 倍
HC2 与 AMD 的分解式推理架构
学术界对照：HNLPU 与金属嵌入
经济效益：为何刻入比训练省 100 倍
局限性、权衡与质疑者之见
对 AI 智能体、推理模型与测试时计算的影响
竞争格局：AMD vs. Nvidia vs. Google
未来展望：边缘 MSIC、忆阻器与后续发展
结论：工程师无法忽视的范式转变
有一个数字应该让每位 AI 工程师感到不安：一块 Nvidia H100 GPU 提供 3.35 petaflops 的 FP8 算力，但在自回归 LLM 推理过程中，其利用率仅为约 5%–10%。瓶颈不在算力，而在内存。
每一次 Transformer 解码步骤的前向传递，都需要从高带宽内存（HBM）中获取数十亿个浮点权重，经由耗电严重的内存总线传输，与激活值相乘，再将结果写回。H100 的 HBM 带宽为 3.35 TB/s——纸面上看起来很吓人。但面对每次解码步骤需要移动 700 亿个参数的局面，你永远在追逐一条无法摆脱的屋顶线。GPU 就像一辆闲置在拥堵交通中的超级跑车。
业界已经尝试了各种方法试图突破这道墙：量化（2-bit、4-bit、MXFP4）、KV 缓存卸载、连续批处理、投机解码、Flash Attention。每种技术都削减了一些开销，但没有一种能消除根本问题：权重存在于内存中，而内存离算力很远。
2026 年 8 月 6 日，AMD 宣布收购 Taalas——一家由前 AMD GPU 架构师 Ljubisa Bajic 创立的 25 人初创公司——并在整个 AI 推理堆栈下悄然引爆了一颗范式炸弹。Taalas 给出的答案不是算法技巧，不是量化方案，也不是更大的 SRAM 缓存。
他们的答案优雅而粗暴：把权重直接做到晶体管里。
这正是模型专用集成电路（MSIC）的故事，它为何比你今年读到的任何 GPU 规格表都更重要，以及每位 AI 工程师需要了解的推理硬件走向。
左图：受 HBM 内存墙瓶颈的传统 GPU 推理。右图：权重刻入晶体管的 MSIC 推理——零权重获取延迟。
模型专用集成电路是一种为运行单一模型——或同一系列模型——而设计的芯片，通过在芯片制造过程中将模型的权重永久编码到芯片物理硅结构中，而不是在运行时从外部内存加载。
这个概念并非全新。用于推理的自定义 ASIC 多年前就已存在：Google 的 TPU、Groq 的 LPU 以及 Cerebras 的晶圆级引擎都代表了日益专业化的推理硬件。但它们都将模型权重视为数据——存储在内存中、需要获取和消费的数据。MSIC 完全打破了这层抽象。
在 MSIC 中，权重不是芯片处理的数据。权重就是芯片本身。
计算机历史上最类似的类比是 Mask ROM——早期微控制器和游戏卡带中使用的只读存储器，数据在芯片制造过程中通过金属掩模层物理编码。你无法在运行时重写 Mask ROM；其内容在 fab 阶段就已永久确定。Taalas 将这一原理应用到了现代 Transformer 模型的每个权重矩阵上。
这对推理的影响是深远的：
无内存带宽瓶颈来获取模型权重。 权重以晶体管开关速度访问——实际上与计算本身的速度相同，无需跨越任何总线。
极致功耗效率。 数据在内存总线上移动是计算中能耗最高的操作之一。消除基础模型权重的 HBM 获取会大幅降低功耗。
极高的晶体管密度。 Taalas 的单元设计将一个权重值及其相关乘法操作打包到单个晶体管中，实现了标准 SRAM 或 HBM 无法达到的密度。
代价——我们将在第 9 节仔细审视——是缺乏灵活性：芯片一旦制造完成，权重就永久固定了。更新模型意味着重新流片（respinnning metal layers）。
HC1 是 Taalas 的第一代量产芯片，在台积电 N6（6nm）工艺节点上制造。规格看起来像一份宣言：
HC1 的内存架构分为两个截然不同的区域，每个区域针对完全不同的访问模式进行了优化：
这里是模型权重永久存放的地方。Mask-ROM Recall Fabric 在光刻过程中将部署模型的每个权重张量编码到芯片的金属互连层中。这些不是等待指令的通用计算单元；它们是执行特定乘法运算的特定权重，每次都以晶体管速度执行特定操作，别无其他。
一个关键工程细节：Taalas 声称更新模型（替换为同一架构更新训练-run 的权重）只需要更改完整掩模堆栈中的两层金属层。这对第 8 节涵盖的重新流片经济性至关重要。
SRAM Recall Fabric 处理所有动态内容：
KV 缓存 —— 在会话期间随上下文长度增长的键值注意力缓存
LoRA/微调适配器 —— 在运行时交换以实现模型专业化的低秩适配矩阵
运行时激活值 —— 每次推理步骤中流经的中间计算值
关键架构洞察是关注点分离：静态、永不改变的推理组件（基础模型权重）进入为密度优化的 ROM；动态、会话特定的组件（KV 缓存、适配器）进入为访问速度优化的 SRAM。
HC1 芯片框图：Mask-ROM Recall Fabric（左，金色网格——权重刻入为晶体管）直接馈入乘法运算，而 SRAM Recall Fabric（右）处理动态 KV 缓存、LoRA 适配器和激活值。
以下是推理流程与标准 GPU 的对比，以具体说明架构差异：
# ─────────────────────────────────────────────────────────────
# 传统 GPU 推理（概念流程）
# ─────────────────────────────────────────────────────────────
# 内存墙出现在每一层、每一次解码步骤中。
def gpu_inference_step(token_ids, model_weights_hbm, kv_cache_hbm, config):
activations = embed(token_ids)
for layer_idx in range(config.num_layers):
# 每个解码步骤都从 HBM 获取每个权重张量 → 瓶颈
W_q = load_from_hbm(model_weights_hbm, f"layer{layer_idx}.W_q") # ← 慢
W_k = load_from_hbm(model_weights_hbm, f"layer{layer_idx}.W_k") # ← 慢
W_v = load_from_hbm(model_weights_hbm, f"layer{layer_idx}.W_v") # ← 慢
W_o = load_from_hbm(model_weights_hbm, f"layer{layer_idx}.W_o") # ← 慢
q = matmul(activations, W_q)
k = matmul(activations, W_k)
v = matmul(activations, W_v)
# KV 缓存也存放在 HBM 中——又一个内存瓶颈
past_k, past_v = load_from_hbm(kv_cache_hbm, layer_idx) # ← 慢
attn_output = scaled_dot_product_attention(q, concat(past_k,k), concat(past_v,v))
activations = matmul(attn_output, W_o)
return activations # 解码期间 GPU 利用率：约 5%–10%
# ─────────────────────────────────────────────────────────────
# HC1 MSIC 推理（概念流程）
# ─────────────────────────────────────────────────────────────
# 权重就是晶体管——无获取、无总线、无瓶颈。
# 只有 KV 缓存穿越 SRAM。
def hc1_inference_step(token_ids, kv_cache_sram, config):
activations = embed(token_ids)
for layer_idx in range(config.num_layers):
# 权重在物理上存在于硅片中。
# 乘法就是晶体管开关事件。零内存延迟。
q = rom_multiply(activations, layer=layer_idx, weight="W_q") # ← ROM 速度
k = rom_multiply(activations, layer=layer_idx, weight="W_k") # ← ROM 速度
v = rom_multiply(activations, layer=layer_idx, weight="W_v") # ← ROM 速度
o = rom_multiply(activations, layer=layer_idx, weight="W_o") # ← ROM 速度
## 4. 单晶体管技巧：Mask-ROM 如何编码权重
HC1 的工程核心——也是 Ljubisa Bajic 花费数年进行晶体管级手工布局的部分——是 Taalas 所说的单晶体管权重-乘法单元。
要理解这为何重要，先看标准 GPU 上单个权重交互的完整信号路径：
标准 GPU：权重存储 → 乘法信号路径 ───────────────────────────────────────────────────────── HBM DRAM 单元（电容 + 晶体管 + 刷新） → 灵敏放大器 → 列/行解码器 → 数据总线遍历 → 输入缓冲器 → 多路复用器 → 寄存器写入 → 专用乘法器单元 → 累加寄存器 ───────────────────────────────────────────────────────── 每个权重约 30–50 个晶体管和多个时钟周期
在 Taalas 的 Mask-ROM Recall Fabric 中，权重值在制造时通过特定晶体管沟道是否注入来编码——这是代工厂中掩模可编程的阈值电压设置。该晶体管是否对输入激活做出响应而导通电流，将存储的权重和乘法操作编码在单个晶体管开关事件中：
Taalas MSIC：权重 + 乘法信号路径 ───────────────────────────────────────────────────────── Mask-ROM 单元（1 个晶体管或二极管） → 地址解码器 → 晶体管开关本身就是乘法 ───────────────────────────────────────────────────────── 每个权重约 1 个晶体管——无总线，无独立乘法器
Bajic 的描述——"我们做了大量晶体管级设计和手工布局——基本上我们整个努力变成了 1970 年代的复古风格"——不仅仅是一句有趣的话。它描述了一种真正的工程哲学：当业界其余部分在构建更高层次的抽象时，Taalas 回到底层晶体管的物理学，问了一个问题：存储和相乘一个权重所需的最小工作量是多少？
ROM 单元的密度也显著高于 DRAM 单元。DRAM 存储一位需要一个电容（需要定期刷新功耗）、一个晶体管和一个灵敏放大器。ROM 存储一位可以是一个单晶体管，甚至是一个带共享解码器的二极管。这种密度优势正是允许在 6nm 制程、815mm² 裸片上容纳 80 亿参数的原因——使用传统 SRAM 权重存储在物理上根本不可能实现这一壮举。
## 5. 基准测试：比 B200 快 48 倍，比 Cerebras WSE 快 8.5 倍
HC1 的性能数字不是增量式的。它代表了类别的转变——而且每瓦 Token 数的故事与原始吞吐量同样重要。
（Groq LP30 和 Cerebras WSE-3 的数据来自已发布的机架级规格估算——在生产环境中使用前请验证。）
除了头条数字之外，有三点值得注意。首先，HC1 比 Cerebras WSE-3（此前定制 AI 芯片效率的基准）提供了约 170 倍更好的 Token/瓦特效率。其次，这些测量针对的是批大小为 1、单用户延迟的场景——这正是 GPU 最痛苦的领域，因为无法通过大批量来分摊 HBM 带宽成本。第三，200W 的卡功耗使 HC1 可在标准数据中心功耗范围内部署，无需专用冷却基础设施。
Llama 3.1 8B 推理吞吐量。Taalas HC1 以 16,960 tokens/秒，比 Nvidia B200 GPU 快 48 倍，比 Cerebras WSE-3 快 8 倍以上，功耗却只是零头。
## 6. HC2 与 AMD 的分解式推理架构
HC1 已经投入生产。HC2——预计 2026 年夏季上市，在 AMD 旗下正在加速——将参数密度翻倍至每芯片 200 亿参数。
以 20B 参数/芯片计算，运行一个 1 万亿参数的前沿模型需要约 50 颗 HC2 芯片。作为参考，Nvidia 的 Groq 驱动 LPX 机架需要 2,000+ 颗 LP30 LPU 才能实现同类模型。物理占用空间和功耗差异巨大。
更重要的是，AMD 已经明确阐述了 HC2 如何通过分解式 prefill/decode 架构接入其 Helios 机架级平台——这一设计利用了 Transformer 推理中的一个基本不对称性：
Prefill 是计算密集型的：并行处理所有提示词 Token 被注意力层和 MLP 层的 FLOP 所主导，GPU 凭借数千个 CUDA 核心确实是最优选择。
Decode 是内存带宽密集型的：一次生成一个 Token，瓶颈在于移动权重和 KV 缓存，而这正是 MSIC 消除的问题。
AMD 的计划：让每种硬件处理其最擅长的部分。
```python
# 概念性的 vLLM 风格分解式调度器配置
# 适用于配备 HC2 解码引擎的 AMD Helios 机架
from vllm.config import DisaggregatedConfig
config = DisaggregatedConfig(
# Prefill 工作器：AMD Instinct MI400 GPU——计算密集型阶段
prefill_workers=[
{"device": "amd_instinct_mi400", "count": 8, "tensor_parallel": 4},
],
# Decode 工作器：Taalas HC2 芯片——内存密集型阶段
# 模型权重固定在硅片中——无权重加载开销
decode_workers=[
{
"device": "taalas_hc2",
"count": 50, # 50 × 20B 参数 = 1T 参数模型
"pipeline_parallel": 50,
"kv_cache_sram_gb": 48, # 每芯片 SRAM 用于 KV 缓存
# LoRA 适配器在推理时加载到 SRAM
"lora_adapters": ["finance_v2", "code_assistant_v3"],
}
],
# KV 缓存在 prefill 和 decode 阶段间的传输
kv_transfer_fabric="amd_infinity_fabric",
kv_transfer_bandwidth_tbs=0.9, # 机架内约 900 GB/s
# 调度
max_batch_size=512,
preemption_mode="swap", # 若 SRAM 满则将 KV 缓存溢出到主机 DRAM
)
这种分解式设计并非 AMD 特有的猜测——它与 vLLM、SGLang 及其他推理框架在过去 18 个月中一直在架构层面构建的 prefill/decode 分解模式一致。AMD 提供的是使这种模式达到最高效率的硬件。
当 Taalas 交付硅芯片的同时，学术研究人员独立得出了一个惊人的相似结论。ArXiv 论文《Hardwired-Neurons Language Processing Units as General-Purpose Cognitive Substrates》（2025 年 8 月提交，2026 年 1 月最终修订）提出了 HNLPU 架构及其可能代表下一代技术的技术，其方案可能超越 Taalas 目前交付的产品。
HNLPU 论文的关键创新是 Metal-Embedding（金属嵌入）：与在二维硅器件单元网格中编码权重不同（注入/未注入晶体管，如 Taalas 现有方案），Metal-Embedding 是在芯片互连层中金属布线的三维拓扑结构中编码权重值。
直觉理解：每颗现代芯片都有 10–15 层金属布线层，纯用于信号路由。Metal-Embedding 将导线拓扑——哪些导线连接哪些、在哪一层——重新用作权重值的模拟编码。由于金属布线与硅本身在同一光刻掩模步骤中确定，权重以零额外权重面积成本嵌入。密度提升极为显著：
"70 层相同掩模层中的 60 层"这一发现对经济学意义重大：HNLPU 芯片的光刻掩模工具在不同模型部署间基本可复用，不同模型间只有 10 层（金属编码层）发生变化。与每个模型完全定制流片相比，这将 NRE 成本降低了 112 倍。
左：HNLPU 金属嵌入——模型权重编码在金属布线层（M9–M12）的三维拓扑结构中，实现比二维器件单元方案高 15 倍的密度。右：AMD Helios 分解式机架，Instinct GPU 用于 prefill，Taalas HC2 芯片用于 decode。
MSIC 的经济学论证对企业采用的最终重要性可能超过性能论证，它建立在一个 Taalas CEO Paresh Kharya 已经明确做出的比较之上：
"将模型的权重刻蚀到硅片中，比训练一个前沿模型便宜 100 倍。"
Training GPT-4 级别的模型据报道需要 5,000 万至 1 亿美元的算力成本。2026 年的前沿模型参数已达数千亿，单次训练估计耗资 5 亿至 20 亿美元。在此背景下，一款针对 120B 模型、采用 5nm 工艺的 Taalas 风格芯片流片成本为 5,900 万至 1.23 亿美元——只需一次——即可生产出能服务数十亿次查询的芯片。
对超大规模云服务商而言，ROI 分析很快变得极具吸引力：
# ROI 模型：自定义 MSIC 芯片 vs. GPU 集群用于 LLM 推理
# 所有数字均为说明性——请用当前市场价格核实
# 规模：每天 1000 亿 tokens（超大规模级别）
DAILY_TOKENS = 100_000_000_000
# 价格假设（2026 年中期）
GPU_COST_PER_M_TOKENS = 0.50 # $/百万 tokens（GPU 集群，分摊后）
MSIC_COST_PER_M_TOKENS = 0.03 # $/百万 tokens（预计分摊后）
# 年度推理成本
gpu_annual = (DAILY_TOKENS / 1e6) * GPU_COST_PER_M_TOKENS * 365 # $18.25M/年
msic_annual = (DAILY_TOKENS / 1e6) * MSIC_COST_PER_M_TOKENS * 365 # $1.095M/年
# 一次性 MSIC NRE
msic_nre = 100_000_000 # $100M 流片
annual_savings = gpu_annual - msic_annual # $17.155M/年
breakeven_years = msic_nre / annual_savings # ≈ 5.8 年
print(f"Annual GPU cost: ${gpu_annual/1e6:.2f}M")
print(f"Annual MSIC opex: ${msic_annual/1e6:.2f}M")
print(f"Annual savings: ${annual_savings/1e6:.2f}M")
print(f"MSIC NRE: ${msic_nre/1e6:.0f}M (one-time)")
print(f"Break-even: {breakeven_years:.1f} years")
print(f"10-year NPV advantage: ${(annual_savings*10 - msic_nre)/1e6:.0f}M+")
# Annual GPU cost: $18.25M
# Annual MSIC opex: $1.10M
# Annual savings: $17.16M
# MSIC NRE: $100M (one-time)
# Break-even: 5.8 years
# 10-year NPV advantage: $71M+
在超大规模云服务商的 token 量级下，自定义 MSIC 流片在标准 5 年基础设施规划周期内即可回本——在单个模型部署上 10 年期 NPV 优势超过 7,100 万美元。且据 Taalas 声称，模型更新只需更改 2 层金属层（无需全新流片），保持与权重改进同步的成本仅为原始 NRE 的零头。
两个月的晶圆厂周期也具有重大运营意义。通过台积电的"代工厂最优工作流"，一个训练好的模型可在约 8 周内成为可部署的 PCIe 卡。对于按季度或半年度更新计划运行的稳定生产模型，这种周转时间在商业上是可行的。
没有任何技术是没有权衡的。这篇报道的 Hacker News 帖子引发了 351 条尖锐技术辩论的评论，怀疑者提出的观点是每个评估 MSIC 部署的工程师都应该内化的。
最根本的局限性：芯片一旦流片，模型权重就不可更改。主流 AI 实验室以周为单位发布新前沿模型，任何 MSIC 部署都押注于流片模型能在足够长的时间内保持相关性以分摊 NRE。Taalas 的"2 层金属层重新修改"说法解决的是权重更新问题（相同架构，新训练run）。但架构变更——新的注意力机制、MoE 路由变更、新的层配置——仍需要完整重新修改。
HN 评论者 adrianN 正确指出，即使权重编码在 ROM 中，KV 缓存——驻留在 SRAM 中，随上下文长度 × 批量大小线性增长——在长上下文推理期间仍会产生内存带宽约束。在 128K 上下文长度（目前在生产环境中已司空见惯）下，70B+ 模型的 KV 缓存可达数十 GB。48 倍的基准测试优势最准确的描述是适用于短到中等上下文、以解码为主的工作负载的优势。在极长上下文中，优势会缩小——但不会消失。
HC1 的 SRAM Recall Fabric 支持 LoRA 适配器，能够在运行时进行轻量级微调。然而，全面微调、DPO、RLHF 更新和持续预训练都需要新芯片。运行持续对齐流水线的企业在此面临硬性约束。
两个月的晶圆厂周期意味着，如果已部署模型中发现关键安全或能力问题，修复至少需要 8 周以上才能到达硬件。GPU 部署可以在一夜之间打补丁模型权重。这对生产系统有真实的运营安全影响。
HN 社区对将 Gemma4 级模型烧录到手机 SoC 充满热情。HC1 面积为 815mm²，对移动设备而言过大。将 MSIC 技术微型化到手机尺寸的 3nm die，同时保持足够参数密度以支持有能力的模型，仍是一个研究问题，而非近期的发货路线图项目。
多位 HN 评论者提出了通过忆阻器进行模拟权重编码的可能性（阻变式 RAM，权重值以模拟电阻水平存储）。基于忆阻器的权重存储可能比数字 Mask-ROM 密度高 10 至 100 倍，可能在单芯片上实现万亿参数模型。这仍处于研究阶段；Taalas 目前的方案是全数字的。
AMD/Taalas 公告的时机并非巧合。AI 行业正处于测试时计算扩展的中途转型——让模型在响应前推理更长时间往往优于简单地训练更大模型。这一认知的陷阱在于：推理 tokens 是极消耗算力的——每个推理步骤都需要完整的自回归解码传递。对于标准 GPU 部署，这意味着在推理过程中每一轮思考 tokens 都要经过相同的内存带宽限制。
MSIC 在这个特定场景下具有特殊价值。自回归解码是内存带宽受限的操作——每次前向传递都需要从内存加载权重。对于权重已蚀刻在硅片上的芯片，这些带宽需求大幅减少，使得推理 tokens 的成本远低于 GPU 上的同等操作。更长的"思考"链条在 MSIC 上变得更加经济。
这也与 AI 智能体的工作模式高度契合。AI 智能体通常会发起多个工具调用，在外部环境中执行操作，然后返回模型进行更多推理——中间可能有数十个往返。以记忆硅 MSIC 方案运行的多步骤 AI 智能体，每步推理成本更低、周转更快，能够在更长的思维链上运行，而无需像 GPU 集群那样面临内存带宽的急剧成本峰值。
护栏是 AI 智能体系统中的关键组件。传统上，护栏在权重层面与主模型一起部署——对齐策略、输出过滤、API 速率限制——全部作为模型执行的一部分。HC1 支持在 SRAM Recall Fabric 中存储多个 LoRA 适配器。这意味着护栏可以作为轻量级 LoRA 动态加载，而不是每个请求都经过软件钩子检查，从而减少护栏开销。
护栏的动态加载对 AI 智能体尤其有价值，因为 AI 智能体的行为可能差异极大——代码生成、创意写作、信息检索、工具编排各有不同的安全和合规需求。在推理时加载恰当的护栏适配器，能够实现比静态配置更精细的控制，且无需为每个请求付出完整的软件中间层成本。
上下文工程的演进也值得关注。提示词工程、few-shot 示例、检索增强生成等上下文工程技术的兴起，催生了庞大的推理基础设施产业——向量数据库、嵌入模型、缓存层、提示版本管理系统。MSIC 的出现对这一领域既是威胁也是机遇：内存带宽限制的减少使更长的上下文窗口更具经济可行性；与此同时，上下文信息的编码和加载方式也可能因芯片架构而改变。
关于 AI 智能体在生产环境中如何从 MSIC 架构中获益的完整分析，需要单独深入探讨。但核心逻辑清晰：在算力成本中，内存带宽而非原始计算往往是瓶颈——这对以解码为主的 AI 智能体工作负载影响尤为显著——蚀刻到硅片上的权重消除了这一瓶颈，使更长的思维链和更复杂的 AI 智能体流程在成本上变得可行。
这场关于硅片上智能的博弈才刚刚开始。