Taalas: 模型专用硬件 - 将AI模型转化为硅芯片

摘要

Taalas是一家AI芯片初创公司，通过模型硬件化技术实现1000倍性能提升。公司提出将AI模型权重直接固化为芯片晶体管，彻底消除内存墙问题。

论文要点

项目 内容
问题定义 AI推理效率低下，90%能耗用于内存数据传输（内存墙问题）
方法框架 模型专用化硬件架构：模型权重固化为晶体管电路，实现物理层面的存算合一
核心模块 权重固化层(MaskROM) + SRAM动态层(KV缓存)
实验设置 Llama 3.1 8B模型，台积电6nm工艺，815mm²芯片面积
实验结果 17000 tokens/s推理速度，性能/瓦提升1000倍，成本降低20倍
优点 消除内存墙，无需HBM/3D堆叠/液冷，单芯片即完整AI系统
局限 模型依赖性强（模型更新需重新定制硬件），3位量化精度损失

总结

Taalas通过模型硬件化重新定义AI芯片架构，是挑战英伟达的新尝试