AGI Hunt· tomaarsen·· 4 小时前AI 评分60
tomaarsen 提醒 EmbeddingGemma 2 不要用 FP16，会 NaN 或静默降质
EmbeddingGemma 2 禁用 FP16:激活超动态范围,会 NaN 或静默降质
AI 导读
EmbeddingGemma 2 必须使用 BF16 或 FP32，不能使用 FP16。tomaarsen 指出该模型的激活范围超出 FP16 的动态范围，模型卡警告会出现 NaN 或静默退化的嵌入质量。
来源：AGI Hunt · agihunt.info