arXiv cs.AI· Xiaolong Li, Jinyang Li, Bowen Qin, Ge Qu, Nan Huo, Xiaohan Xu, Shipei Lin, Reynold Cheng·· 1 天前AI 评分35
ORCA：评估 LLM 的数据科学代码翻译能力
ORCA: Evaluating LLMs on Data Science Code Translation
AI 导读
ORCA 基准发布，用于评估 LLM 的数据科学代码翻译（DSCT）能力，含 1,600 项 ORCA-MAIN 任务（覆盖 Data Querying、Data Manipulation、Deep Learning）和 200 项 ORCA-PROJECT 完整项目任务。
来源：arXiv cs.AI · arxiv.org