近日，我校教育科学与技术学院研究生唐天奇以第一作者撰写的论文“Unveiling the efficacy of ChatGPT in evaluating critical thinking skills through peer feedback analysis: Leveraging existing classification criteria”（通过同伴反馈揭示ChatGPT在评估批判性思维技能方面的功效：利用现有分类标准）在SSCI教育学领域的高影响力期刊《Thinking Skills and Creativity》（SSCI二区，JCR Q1，影响因子：3.5）上发表。该论文是国家自然科学基金2022年度地区科学基金项目“基于机器学习的同伴互动增值评价的动态监测模型与应用研究”（62267006）的成果之一。

随着技术的飞速发展，ChatGPT等大型语言模型在自然语言处理方面取得显著进展，在教学评价和反馈中具有良好的应用潜力。然而，生成式人工智能能否帮助教育从业者开展教学工作？本研究探讨了在在线同伴反馈中使用大语言模型ChatGPT评估学生批判性思维的潜力。通过比较在线同伴反馈文本中人工编码与ChatGPT编码的一致性和准确性，并使用精确率、召回率、F1值和混淆矩阵等各种指标进行综合分析，评估了ChatGPT的性能，并进一步探究其评估结果与学生批判性思维水平的关系。研究发现，ChatGPT在评估批判性思维较高维度上展现出一定能力，但在更精细的次级维度上存在局限。同时，ChatGPT的评估不受学生批判性思维水平影响。

未来研究院师生将继续钻研学术、砥砺前行，积累更多高水平研究成果。

图1 发表论文部分内容

论文链接：https://doi.org/10.1016/j.tsc.2024.101607