AGI Hunt· sebkrier·· 3 小时前AI 评分39
Neel Nanda 回应可解释性争论:神经元归因图实用,但离破解模型还很远
AI 导读
Neel Nanda 回应可解释性争论,认可神经元归因图做探索性可解释性实用、相较 SAE/transcoder 有优势,但不认同它标志可解释性重大突破。此前前 OpenAI 成员 nickcammarata 称,早期仅约 2% 神经元可读,如今用 agentic 工具,万亿参数模型的绝大多数神经元及电路清晰可读。Nanda 指出,剪枝到关键组件后该图仍有大量误差和遗漏。
来源:AGI Hunt · agihunt.info