任何一個大型軟體都不是一開始就構思完善的,而是透過開發人員的一次次改進、編輯、單元測試、修復建置錯誤、解決程式碼審查,再循環解決問題,直到滿足上線需求後才能把程式碼合併到倉庫。
控制整個過程的學問就叫做軟體工程。
軟體工程並非一個獨立的過程,而是由開發人員、程式碼審查員、錯誤報告員、軟體架構師和各種開發工具(如編譯器、單元測試、連接器、靜態分析器)之間的交流組成。
最近,Google公佈了自家的DIDACT(Dynamic Integrated Developer ACTivity,動態整合開發人員活動)框架,以AI技術增強軟體工程,將軟體開發的中間狀態作為訓練數據,輔助開發人員編寫、修改程式碼,並即時了解軟體開發的動態。
DIDACT是一個多任務模型,在編輯、調試、修復和程式碼審查在內的開發活動上進行訓練
研究人員在內部建構並部署了三個DIDACT工具,註釋解析、建構修復和提示預測,每個工具都整合在開發工作流程的不同階段。
幾十年以來,Google的軟體工程工具鏈都是將與程式碼相關的每個操作都儲存為工具和開發人員之間的互動日誌。
原則上,使用者可以使用這些記錄來詳細重播軟體開發過程中的關鍵變更過程,即Google的程式碼庫是如何形成的,包括每一次的程式碼編輯、編譯、註解、變數重命名等。
Google的開發團隊會將程式碼存放在monorepo(單一倉庫,mono repository)中,也就是包含所有工具和系統的程式碼儲存庫。
軟體開發人員通常在雲端中客戶端(Clients in the Cloud, CitC)系統管理的本機寫入時複製(copy-on-write)工作空間中對程式碼修改進行實驗。
當開發者準備好將一組程式碼變更打包在一起實現某個任務時(例如修復某個bug),需要在Google的程式碼審查系統Critique中創建了一個變更清單(changelist, CL)。
與常用的程式碼審查系統一樣,開發人員與同儕審查者會就功能和風格進行交流,然後編輯CL以解決評審註解時提出的問題。
最終,審查員宣布程式碼「LGTM!」後合併CL到程式碼庫。
當然,除了與程式碼評審員的對話之外,開發人員還需要維護大量與其他軟體工程工具的「對話」,包括編譯器、測試框架、連結器、靜態分析器、模糊測試工具等。
軟體開發中涉及的複雜活動網路的說明:開發人員的活動、與程式碼評審員的互動以及對編譯器等工具的調用。
DIDACT利用工程師和工具之間的互動對機器學習模型賦能,透過建議或最佳化開發人員在執行軟體工程任務時的行動,來輔助Google開發人員參與軟體工程過程。
為此,研究人員定義了一些關於單一開發人員活動的任務:修復損壞的建置、預測程式碼審查註解、處理程式碼審查註解、重新命名變數、編輯檔案等。
然後為每個活動定義一個通用的形式:取得某個State(程式碼檔案)、某個Intent(特定於某個活動的註釋,例如程式碼審查註釋或編譯器錯誤),並產生一個Action(用來處理任務的動作)。
其中Action就像一個迷你程式語言,可以擴展為新加入的活動,涵蓋了編輯、新增註解、重新命名變數、標記程式碼錯誤等內容,也可以稱這種語言為DevScript。
DIDACT模型的輸入提示為任務、程式碼片段和與該任務相關的註釋,輸出為開發動作,如編輯或評論
狀態-意圖-行動(State-Intent-Action)的定義形式能夠以通用的方式捕捉不同的任務,更重要的是,DevScript可以簡潔地表達複雜動作,不需要像動作發生後那樣輸出整個狀態(原始程式碼),使得模型更有效且更可解釋。
例如重新命名可能會修改程式碼檔案中的多處地方,但模型只需要預測一個重新命名操作。
DIDACT在個人輔助任務上運作得非常好,例如下面的例子中示範了DIDACT在功能完成後的程式碼清理工作,先輸入代碼審查員的最終註釋(圖片中標記為human),然後預測解決註釋中提出問題所需的操作(用diff展現)。
給定程式碼的初始片段和程式碼審查員附加到程式碼片段的註釋,DIDACT的Pre-Submit Cleanup任務會產生處理這些註解的編輯操作(文字的插入和刪除)
DIDACT的多模態性質也產生了一些隨規模增大而湧現出的全新行為,其中一種能力是歷史增強( history augmentation),可以經由提示來啟用這種能力,了解開發人員最近做了什麼可以讓模型更好地預測開發人員下一步應該做什麼。
#歷史增強程式碼補全的示範
#歷史增強程式碼補全任務可以展現這種能力,在上圖的範例中,開發人員加入了一個新的函數參數(1),並將遊標移到文件中(2)。根據開發人員的編輯歷史和遊標位置,模型能夠準確預測新參數的文檔字串條目並完成第三步驟。
在難度較大的歷史增強編輯預測任務中,模型能夠以歷史一致的方式選擇下一步編輯的位置。
在多個鍊式迭代上的編輯預測的示範
如果開發人員刪除了函數參數(1),則模型可以根據歷史正確地預測對刪除參數的文檔字串(2)的更新(而無需人類開發人員手動地將遊標放置在那裡),並且在語法上(也可以說是語意上)正確地更新函數(3)中的語句。
有了歷史後,模型可以明確地決定如何正確地繼續「編輯程式碼過程」,而如果沒有歷史記錄,模型就無法知道遺失的函數參數是故意的(因為開發人員正在進行更長的編輯操作以刪除參數)還是意外情況(模型應該重新添加參數以修復問題)。
除此之外,模型還可以完成更多的任務,例如從空白檔案開始,要求模型連續預測接下來的編輯操作,直到寫出一個完整的程式碼文件。
最重要的是,該模型能夠以對開發人員來說很自然的、循序漸進的方式輔助編寫程式碼:
首先創建了一個具有導入、標誌和基本main函數的完整工作框架;然後再逐步添加新功能,例如從文件中閱讀和寫入結果,並添加基於用戶提供的正則表達式來過濾某些行的功能。
DIDACT將Google的軟體開發過程轉變為機器學習開發人員助理的訓練演示,並使用這些演示資料來訓練模型,以循序漸進的方式建立程式碼,與工具和程式碼審查人員互動。
DIDACT方法補充了Google和其他公司的大型語言模型所取得的巨大成就,可以減少工作量,提高生產力,並提高軟體工程師的工作品質。
以上是谷歌公開自家「AI+軟體工程」框架DIDACT:數千名開發者內部測試,用了都說生產力高的詳細內容。更多資訊請關注PHP中文網其他相關文章!