大資料文摘出品
作者:Caleb
說到作弊,可謂是道高一尺魔高一丈的典型了。
2017年一部《天才槍手》就把作弊這一看似十分「普遍」的學生行為拍出了新花樣,甚至有網友表示,「作弊才是學生時代的主題」。
先前受到疫情等諸多因素影響,全球範圍內的線上考試也被迫提上日程,而緊隨其後的便是各種防作弊措施。
但是過了這麼久了,這些反作弊軟體真的發揮了它們應有的作用嗎?
最近一項調查發現,被世界各地學校使用的反作弊軟體Proctorio並不能有效檢測出環境中的作弊者,儘管它們聲稱對此有著十分高的把握。
研究論文:https://ris.utwente.nl/ws/portalfiles/portal/275927505/3e2a9e5b2fad237a3d35f36fa2c5f44552f2.荷蘭荷蘭#pdf
特文大學#pdf#特文的研究人員做了一個十分形象的比喻,他說該軟體就像是在服用安慰劑:它有一些正面影響,不是因為它有效,而是因為人們相信它有效,或者它可能有效。
在此之前,我們還是有必要了解Proctorio。
作為一個AI系統,必須承認的一點是Proctorio解放了監考人員的人力資源,相反它主要使用軟體來監控學生,檢測和報告考試其阿金出現的任何可疑行為。
這就要求學生們在自己的電腦上安裝一個瀏覽器擴展程序或一個應用程序,以更好地跟踪學生的眼球運動與肢體語言。學生還必須上傳自己的學生照和身分證,以便系統更好地進行臉部辨識。
另一方面,Proctorio則主要透過記錄學生電腦的視訊和音訊片段,捕捉學生的按鍵,記錄電腦螢幕數據,在學生移動頭部、眼睛或身體時進行標記,並對他們在進行考試時所造訪的網站進行分類等來進行監考。
2021年4月,本研究首先在第13屆國際電腦輔助教育會議上提出,試圖證明軟體是否有效。
為此研究人員從大學的電腦科學課程中找到了30名學生志願者,並讓其中6人在Proctorio監考的一次考試中作弊,另外有5人被告知不要作弊,但要表現得很可疑,其餘則誠實地參加考試。
至於怎麼作弊,研究人員把這項權利交還給了學生,讓他們自己來決定要以怎樣的形式進行,以最好地欺騙系統。
從結果上看,Proctorio並不擅長發現作弊者,該系統沒有將任何作弊者標記為作弊。
有人使用虛擬機,這是Proctorio系統的一個已知的漏洞。研究報告寫到,該軟體確實將這些學生標記為“違規”,但也將其他誠實的學生標記為相同的違規行為。同時,有些作弊者使用音訊通話,但Proctorio沒有將他們的音訊標記為異常,但卻將學生在吵雜環境中進行測試的音訊標記為異常。
一份獨立的人工審查數據和錄像只發現了六名作弊者中的一人,主要原因是由於攝像頭的角度和可選的“房間掃描”功能,他們無法知道學生胸部以下的東西具體是什麼,以及學生的行為。
Proctorio的發言人David Lux介紹了另外三項關於「線上監考的有效性」的研究,這些研究是「多學科的,並且有更強大的樣本量」。作者承認特文特大學的研究有缺陷。然而,這三項研究都不是受控實驗。相反,他們要么使用調查,要么使用回歸模型來估計作弊率和學生對線上監考的態度。
這些研究不僅是不同的研究設計,而且針對的根本不同的問題,畢竟它們都沒有試圖證明在線監考軟體是否能有效地抓住作弊者。
除了Proctorio外,國內的線上監考技術也在穩定跟進中。
今年3月,清華大學研發「AI鷹眼」數位監考防弊系統,可監測人臉偏移、視線離開等異常狀況並示警,且不需事先下載APP,預計明年起開始使用。
清華大學教學發展中心主任周秀專表示,AI鷹眼數位監考系統是目前唯一可做到不需要事先下載軟體、考生不需交出電腦控制權、支援手機答題、支援所有瀏覽器,且適用百人以上大班監考的防弊系統。
AI鷹眼數位監考系統的核心在於應用人臉辯識及眼動追蹤技術,讓一般家用電腦的視訊鏡頭或手機鏡頭,即具備掃描眼球視線軌蹟的功能,並結合鼠標軌跡、音訊等AI人工智慧深度學習系統,精準判斷考生是否有舞弊。
對此,AI鷹眼系統將作弊行為分為了「人臉偏移」「人臉離開」「視線離開」「開啟分頁」等4類異常現象,並統計異常次數,提醒考生和監考者註意,監考者也可要求考生開啟通話功能,來確定現場狀況。
清華表示,AI鷹眼系統將在今年小規模試行,蒐集更多樣本和資料,持續精進並提升系統的準確率,目標於明年正式使用。
其實在國內,線上監考這個事也已經有過實踐了。
今年5月,北京市豐台區初中學考「一模一樣」考試就採用了線上線下相結合等多種方式進行。
首先是對考試環境的要求。參與線上考試的同學必須確保桌面清空,學生面前一台筆記型電腦,身後45度方向有一部手機,兩個設備的攝影機從不同角度拍攝學生的作答狀態,保證監考員視角完整清晰進行全程監控。
北京市趙登禹學校教務主任沈磊表示,除了每個考場配備了一名監考員之外,學校教學幹部、年級組長、班主任都透過線上進入考場進行巡查,「每一場次會有至少5遍到6遍巡查,查看學生的攝影機角度方位是否規範,查看每位學生的答案狀態是否認真」。
「一模」考試首日結束後,學校也針對此次線上監考提出了一些最佳化方案。例如一螢幕無法完全顯示所有考生的即時狀態,需要翻頁。對此,豐台二中提出了優化:除了監考員之外,班主任也進入會場,兩台設備同時監考,就可以一目了然地看到所有同學的作答情況。
目前大部分的線上監考系統都或多或少符合特文特大學研究的核心觀點,即軟體對一些過於明目張膽的作弊行為,例如學生在一起考試並即時討論,這類行為有著威懾作用。
但畢竟每場考試學校可能還會下血本在監考系統上,還有危害學生隱私的風險,或者說,是不是應該讓一個監考老師在所有人都開著攝像頭的情況下來進行考試,這似乎又增加了一些變數。
以上是有人用虛擬機,有人直接打電話,六名作弊者全身而退!線上監考軟體只是個擺設?的詳細內容。更多資訊請關注PHP中文網其他相關文章!