单张 4070 Ti 训出 wyat-2：首个基于循环 Transformer 的决策模型

作者发布 wyat-2，基于 14 亿参数循环 Transformer Ouro-1.4B 微调而成的决策模型，用于给候选答案选项打分，训练只用一张 RTX 4070 Ti。作者称据其所知这是首个基于循环 Transformer 的决策模型，性能不是最好，但属首例。技术报告 PDF 与 Hugging Face 模型权重均已公开。