ChatGPT 在會計考試中的表現遠不及人類,甚至還會一本正經的胡說八道,為錯誤的答案辯護。
美國楊百翰大學的會計教授伍德和他的團隊決定對 ChatGPT 進行一次測試,看看它能否回答大學會計課程的考題。他們在社群媒體上發起了一個號召,吸引了來自 14 個國家 186 所教育機構的 327 位合作者參與。他們共提供了 25181 道會計考題,涵蓋了會計資訊系統、審計、財務會計、管理會計和稅務等領域。他們還邀請了 BYU 的本科生(包括伍德的女兒傑西卡)向 ChatGPT 輸入了 2268 道教科書上的考題。
結果顯示,ChatGPT 的表現雖然有亮點,但整體上還是不如學生程度。學生的平均分數是 76.7%,而 ChatGPT 的平均分數只有 47.4%。在 11.3% 的問題上,ChatGPT 的得分高於學生平均分,尤其是在會計資訊系統和審計方面。但是,在稅務、財務和管理方面,ChatGPT 就顯得力不從心,可能是因為這些領域需要更多的數學運算能力。在題型上,ChatGPT 比較擅長判斷題(68.7% 正確率)和選擇題(59.5% 正確率),但在簡答題上就很吃力(正確率在 28.7% 到 39.1% 之間)。一般來說,對於需要更高層次思考的問題,ChatGPT 更難回答。有時候,ChatGPT 甚至會為錯誤答案提供權威的解釋,或對同一個問題給出不同的答案。
「它並不完美,你不能指望它能做所有事情。」潔西卡說,「僅僅依靠ChatGPT 來學習是愚蠢的。」
IT之家注意到,研究人員也發現了一些其他有趣的現象:
儘管如此,研究人員相信,在未來的版本中,ChatGPT 將在會計問題上有所進步,並解決上述問題。他們認為最有前景的是,這款聊天機器人可以幫助改善教學和學習,例如設計和測試作業,或用於草擬專案的部分內容。
「這是一個反思的機會,我們要看看我們是否在教導有價值的資訊。」研究的合作者之一,BYU 的會計教授拉森說,「這是一種顛覆,我們需要評估我們接下來該怎麼做。當然,我還是會有助教,但其工作內容會有所不同。」
這項研究發表在《會計教育問題》雜誌上。
以上是人類依然掌握財權:研究顯示 ChatGPT 在會計考試中不如大學生的詳細內容。更多資訊請關注PHP中文網其他相關文章!