AGI Hunt· cneuralnetwork·· 3 小时前AI 评分42
PyTorch 采样实验:同一组 logits 温度从 0.2 到 5.0,最高 token 概率从 99.7% 跌到 15.6%
同一组 logits,温度从 0.2 到 5.0,最高 token 概率从 99.7% 跌到 15.6%
AI 导读
作者用 PyTorch 做固定 logits、仅改温度的采样实验:温度从 0.2 到 5.0,最高 token 概率从 99.73% 降到 15.58%。logits 不变,仅 softmax 除以 T:低温放大 logits 差异,高温拉平分布。实验用固定合成 logits、每档温度 2 万次采样,T=2 时 128 次采样已覆盖 12 个候选 token。
来源:AGI Hunt · agihunt.info