FIDELIA 借助人工智能评估 TCF 的书面表达作品。
FIDELIA:TCF 机考书面表达考试自动化辅助批改工具 This is a heading 自 2024 年 5 月起部署,并逐步扩大使用范围,FIDELIA 在机考 TCF 书面表达作品的评估中引入了一定程度的人工智能。什么是 FIDELIA?FIDELIA 是一种自动化辅助批改解决方案,由 France Éducation international(FEI)独家拥有,并由 FEI 与比利时 Louvain-la-Neuve 大学 CENTAL 实验室合作开发。FIDELIA 基于一种定向人工智能模型。与生成式人工智能模型不同,对于同一请求,它所提供的结果始终保持一致。因此,它是一种更加稳健、更加稳定的模型。FIDELIA 的附加价值是什么?所采用的批改方案仍然是 2014 年确立的方案:匿名双重批改。自 2024 年 5 月起,对机考书面表达作品的评估将人工批改与 FIDELIA 批改相结合。考生获得的等级根据这两次批改的结果计算得出。如有分歧,则进行第三次人工批改。因此,评估建立在人与机器互补的基础之上。人与机器的互补 在 70% 的情况下,人工批改人员的批改结果与 FIDELIA 的批改结果一致。然而,人工智能有时可能无法评估非典型作品,也就是说,它从未遇到过的作品类型。在这种情况下,人工批改人员凭借其对新元素的概括能力和适应能力,更适合评估考生的水平。因此,人工批改人员的作用得到了加强。另一方面,FIDELIA 永远不会疲劳:数字模型产生的结果是恒定的。同一份作品即使被多次批改,也始终会得到相同的结果。因此,FIDELIA 能够提供一种接近由一组批改人员共同批改所产生结果的评估。France Éducation international 因而可以将部分资源重新分配到其他任务上,以提高考试和服务质量。主要阶段有哪些?1. 建立双重批改 10 年前建立双重批改,是开发自动化辅助批改系统的先决条件。2. 建立参考语料库 France Éducation international 拥有 TCF 书面表达考试批改数据库。共选取了 27,000 份作品,并注意语料库的多样性,以避免偏向某一类考生。3. 对语料库进行重新评估 该语料库由 55 名 TCF 批改人员重新评估。4. 选择相关的语言变量 识别出 48 个非冗余语言变量,它们被认为有助于区分语言能力等级。5. 训练模型 该模型学习根据任务所得等级以及 48 个语言变量来估计考生的水平。


