mayfer 的「抽象神经元作为嵌入」在词相似度上胜过全部 SOTA，句子检索惨败

mayfer 分享的「抽象神经元作为嵌入」在词级相似度任务上击败所有 SOTA 嵌入检索方法，但句子相似度和检索任务表现很差。该方法只用了 40 亿参数模型 16k 个神经元中的极少部分，他认为词级效果超出预期。他同时在征集可追踪的「神经元猎人」名单，包括可解释性研究者与 neuronpedia 等工具。