arXiv cs.CL· Anuj Kumar, Shintaro Ozaki, Yamuna Prasad, Katsuhiko Hayashi, Hidetaka Kamigaito, Taro Watanabe·· 3 小时前AI 评分28
AMR 解析器输出有多可靠？面向 AMR 解析的不确定性估计
How Reliable are AMR Parser Outputs? Uncertainty Estimation for AMR Parsing
AI 导读
首个针对 AMR 解析器的黑盒不确定性估计研究提出，用 top-k beam-search 候选之间的相似度估计不确定性，并以 Prediction Rejection Ratio 评估。研究刻画了解析性能与不确定性的关系，评估 beam 候选分布的可靠性，并分析评估指标对不确定性评估的影响，同时识别出在性能与可靠性之间平衡最好的解析器。结果显示，不确定性估计可作为评估 AMR 解析器的补充维度。
来源：arXiv cs.CL · arxiv.org