AGI Hunt· andersonbcdefg·· 4 小时前AI 评分50
Resin 开源推理运行时:让 AI 自动编写前向传播,生成定制推理引擎
Resin 开源推理运行时:让 AI 自动写前向传播生成定制推理引擎
AI 导读
开发者 ekzhang1 发布开源个人项目 Resin,一个用于构建快速 LLM 推理引擎的运行时。它把推理中的通用部分做成可复用组件,只把模型专属的前向传播和 kernel 留给每种架构或硬件单独实现;构建时先导入 Resin 核心模块,再由 agent 为目标模型和 GPU、TPU 或 AMD 硬件编写前向传播及所需 kernel,最终产出独立的推理引擎。
来源:AGI Hunt · agihunt.info