跳到正文
原文
AGI Hunt· bodonoghue85·· 3 小时前AI 评分28

开发者用 EmbeddingGemma2 搭 Jev 实时端点:文本 20ms、图像 100ms

用 EmbeddingGemma2 搭 20ms 实时端点:文本 20ms、图像 100ms

AI 导读

开发者 mmastrac 在 Jev 项目中把 Google 的 EmbeddingGemma2 用作极快的实时 /v1/systemone 端点,文本延迟约 20ms、图像约 100ms。该方案支持实时训练,可从上游教师模型蒸馏,并默认支持多模态。

来源:AGI Hunt · agihunt.info