arXiv cs.CL· LLM-jp, :, Chaoran Liu, Daisuke Kawahara, Hideyuki Tachibana, Hirokazu Kiyomaru, Jun Suzuki, Koshi Eguchi, Kouta Nakayama, Qianying Liu, Rio Yokota, Ryo Takahashi, Sadao Kurohashi, Sosuke Hosokawa, Taishi Nakamura, Takashi Kodama, Yun-Ang Wu, Yusuke Miyao, Yusuke Oda·· 4 小时前AI 评分46
LLM-jp-4 技术报告：8B 稠密与 32B-A3B MoE 的日语大模型家族
LLM-jp-4 Technical Report
AI 导读
LLM-jp-4 日语主权大语言模型家族包含 8B 稠密模型与 32B-A3B MoE 模型，均从零开始、基于约 12 万亿 tokens 训练。该系列强调透明度与可复现性，公开训练数据、外部模型和软件的筛选标准与开发过程。评测显示其较前代 LLM-jp 模型大幅改进，与同规模开放权重模型相比具竞争力。
来源：arXiv cs.CL · arxiv.org