近日,我校外語學院劉昕副教授以共同第一作者身份,與江蘇大學教育測評循證研究中心主任、博士生導師黃金雁教授合作完成的論文《AI versus human assessment in EFL speaking classrooms: a comparative study in China》在SSCI收錄的國際權威期刊《Computer Assisted Language Learning》在線發表。該期刊為JCR一區,影響因子為6.6,在國際學術界享有卓越聲譽與廣泛影響力。
論文發表情況截屏。 外語學院供圖
研究基于概化理論,采用問卷調查與訪談相結合的實證研究設計,系統比較了ChatGPT4o、教師和學生在大學生英語口語整體評價與分項評價中的信度差異,并考察了三者所提供的反饋在促進口語能力發展方面的可操作性。
研究發現,ChatGPT-4o在評分信度上雖低于教師組,但明顯高于學生組,并且能夠提供更全面、一致的反饋,尤其在語言復雜度方面表現突出。此外,參與研究的學生對其應用態度存在分歧:一方面認可其生成全面反饋的能力,另一方面對可及性、使用成本及情境理解有限等問題表示擔憂。
文章進一步探討了人工智能融入課堂評估的潛在影響,并指出ChatGPT-4o在英語口語評分與反饋中的應用前景。研究不僅通過實證數據驗證了人工智能工具在語言評估中的信度與可操作性,也為高校師生在考慮將人工智能作為課堂教師評估與同伴互評的有效輔助工具時,提供了實踐參考與理論支持。
文章鏈接:https://www.tandfonline.com/doi/full/10.1080/09588221.2025.2530555