arXiv cs.CL· Maxim Khovansky, Lev Mukhanov·· 4 小时前AI 评分35
SCAPE-T:用仅编码器 Transformer 注意力量化文本语义复杂度
Quantifying Meaning with SCAPE-T: Semantic Complexity from Encoder-Only Transformer Attention
AI 导读
研究者提出 SCAPE-T,一种基于仅编码器 Transformer 注意力的语义复杂度指标,由逆加权自关注、CLS 关注与头间冗余三项子指标经层加权聚合而成。控制词长时其成对准确率达 78.5%(N=10k,95% CI 76.1–80.4),比最强基线高 12.7 个百分点;不控制词长则可读性启发式反超。在抽象性短词数据集上 SCAPE-T 同样领先,消融显示三项子指标均有实质贡献。
来源:arXiv cs.CL · arxiv.org