AGI Hunt· itsmebalamuruagan·· 4 小时前AI 评分40
开发者开源 Python 语义缓存库 Semantic Cache:复用相似查询降低 LLM 重复开销
开发者开源 Python 语义缓存库:复用相似查询降低 LLM 重复开销
AI 导读
一位开发者开源了 Python 库 Semantic Cache,通过复用语义相似查询的结果减少 LLM 应用的重复调用。该库提供 SQLite 存储、可选 HNSW 向量检索、降低错误缓存命中的守卫机制,以及自动化测试与基准工具。项目已在 GitHub 开放,作者正就缓存正确性、API 设计与集成体验征询反馈。
来源:AGI Hunt · agihunt.info