從'人+RPA”到'人+生成式AI+RPA”，LLM如何影響RPA人機互動？

圖片來源@視覺中國

文 | 王吉偉

從“人 RPA”到“人 生成式AI RPA”，LLM如何影響RPA人機互動？

換個角度，從人機互動看LLM如何影響RPA？

影響程式開發與流程自動化人機互動的RPA，現在也要被LLM改變了？

LLM如何影響人機互動？生成式AI怎麼改變RPA人機互動？一文看明白：

• 大模型時代來臨，基於LLM的生成式AI正在快速變革RPA人機互動；
• 生成式AI重新定義人機交互，LLM正在影響RPA軟體架構變化。

如果問RPA對程式開發以及自動化有哪些貢獻，其中一個答案便是它改變了人機互動（HCI，human-computer interaction）。

在傳統工作流程自動化工具中，軟體開發人員必須產生一個操作列表，使用內部應用程式介面（API）或專用腳本語言自動執行任務和與後端系統的介面。

RPA系統則透過觀察使用者在應用程式的圖形使用者介面（GUI）中執行該任務來開發操作列表，然後透過直接在GUI 中重複這些任務來執行自動化，並且能夠給在多個應用程式之間處理資料。

這個看似簡單並被稱為「外掛」的形式，有效降低了產品中使用自動化的障礙，並進一步讓更多組織的端到端自動化成為可能。

作為一種改變數位工作者工作形式的業務流程自動化技術，二十多年來它不僅將人力資源從簡單重複的工作中解放出來，還讓程式開發變得更加簡單。同時它也締造了一種「人類 RPA」的人機互動模式，讓廣大組織能夠更簡單地實現人機協同。

尤其是近些年足夠成熟、有彈性、可擴展和可靠性強的RPA平台出現後，許多大型組織都可以RPA改善與優化其業務流程和開發模式，實現增效降本。

以上這些的實現，皆因RPA不斷改善和優化業務流程自動化以及程式開發中的人機互動。

沒錯，得到眾多技術加持的RPA在不斷滲透到更多產業的同時，也持續改變不同領域多種業務場景的人機互動。

尤其是近年來RPA的再次火爆，正是因為它深度融合了AI技術。以RPA為核心的超自動化技術集合更是囊括了所有與自動化相關的技術，讓端對端自動化的人機互動體驗持續增強，進而受到更多組織的青睞。

現在，AI大模型時代到來，不斷進化的RPA同樣也在融合生成式AI技術。目前融合LLM（Large Language Model，大型語言模型）的RPA，可以說在人機互動上是一次巨大進步，甚至是一種對以往RPA模式的顛覆。

既然要聊聊LLM對RPA人機互動的影響，自然要從人機互動談起。到底LLM對人機互動有什麼影響？ RPA是如何改善人機互動的？ LLM又對RPA有什麼影響？

本文，王吉偉頻道就跟大家聊聊這些。

從人機互動談起

上世紀70年代，大多數辦​​公室的業務運作仍舊使用金屬文件、打字機和大量紙張。而體積龐大的計算機，只能存放在只有少數人可以操作的冷藏室中。

為了解決這些問題，有些公司開始研發個人電腦。施樂公司於1973年開發了施樂Alto，雖然因為造價太高等問題該產品始終未能上市，但它卻成了GUI的第一個草圖，成為了Macintosh（麥金塔電腦）和Windows的靈感來源。

受到一系列研究和相應研發的影響，以及當時市場對於小型計算機的強烈需求，作為研究如何以及為什麼使計算機對用戶更加友好的一種手段，人機交互這個概念以及全新學科便出現於70年代末80年代初。

從那時起，HCI領域不斷發展，主要用於剖析人類行為以解決社會最複雜的問題，研究人們如何與電腦互動以及用戶能夠在多大程度上與電腦交互，目標是在電腦和用戶之間進行成功的交互，並探索哪些領域需要更多的相關開發。

由於能夠解決當時社會生產力的尖銳矛盾，HCI的研究領域在很短時間內就擴展到所有IT領域。

同時研究人員意識到，他們必須將與電腦的互動擴展到每個人，而不僅僅是資訊科技專業人員。因此在幾年之內，HCI就快速擴展到幾乎所有資訊科技設計的變化。

在史蒂夫喬布斯等人的努力之下，蘋果公司在1984年推出了Macintosh個人計算機，人機互動形式由此徹底改變了。它使得電腦的使用變得更加容易，使通訊變得更加簡單，鍵盤、滑鼠和基於圖示的使用者介面開始流行。

後來，蘋果公司成為個人PC先驅，微軟推出了windows系統，這些產品和軟體完全改變並顛覆了全球的業務流程與辦公室的人機互動形式。

這些大家都很熟悉，這裡就不用多介紹了。

直到今天，IoT已成為網路連線基礎，人工智慧也已無所不在，而人機互動仍舊是各種技術、產品及解決方案的重點。

透過前面的發展簡史，相信大家應該已經對人機互動有一個大體認知。那麼到底什麼是人機互動呢？且看下一節。

人機互動的四個要素、六個目標和七個原則

#通用定義認為，人機互動技術（Human-Computer Interaction Techniques）是指透過電腦輸入、輸出設備，以有效的方式實現人與電腦對話的技術。

人機互動技術包括機器透過輸出或顯示設備給人提供大量有關信息及提示請示等，人透過輸入設備給機器輸入有關信息，回答問題及提示請示等。因此，人機互動技術是電腦使用者介面設計中的重要內容之一。

在學術上，人機互動是一門與人類使用的互動式計算系統的設計，評估和實施有關的，以及研究圍繞它們的主要現象的學科。

人機互動關注人（使用者）與電腦之間介面（互動介面），關注電腦技術的設計與使用。人機互動涵蓋多門學科，包括電腦科學，心理學，社會學，圖形設計，工業設計等，是一門綜合性非常強的現代科學。

維基百科認為，人與電腦之間的介面對於促進這種互動至關重要。桌面應用程序，互聯網瀏覽器，掌上電腦等利用了當今流行的GUI。語音辨識和合成系統利用了語音使用者介面（VUI）。

新興的多模態和圖形使用者介面，則允許人們以其他介面無法實現的方式與具體的角色和智能體互動。

所以，人機互動領域的發展導致了互動品質的提高，並導致了許多新的研究領域。不同的研究分支不是設計常規接口，而是專注於多模態而不是單模態的概念、智能自適應接口而不是基於命令/操作的接口以及主動接口而不是被動接口的概念。

從人機互動的名字中，我們可以推導出它由三個部分組成，即用戶，電腦本身以及它們協同工作的方式。

後來這三部分擴展為四個基本要素，也就是使用者、任務、工具/介面和背景。

• 用戶，即在專案上一起工作的個人或一組個人稱為用戶元件。 HCI研究使用者的需求，目標和互動方式。
• 任務，即以目標為導向的任務，使用電腦時，使用者總是有一個目的或目標。為了實現這一點，計算機呈現事物的數位表示。
• 介面，也就是可以提升使用者互動品質的基本HCI元素就是介面。需要考慮許多與介面相關的因素，包括互動類型、螢幕解析度、顯示尺寸，甚至是顏色對比。
• 背景，HCI不僅涉及在使用者和電腦之間提供更好的通信，還涉及考慮存取系統的上下文和環境。

同時HCI具備六個目標，分別是高效使用（效率）、 安全使用（安全）、 具有良好的效用（實用性）、 易於學習（可學習性）以及易於記憶如何使用（可記憶性） 。

在此基礎上，也衍生出了HCI的7個設計原則，如下：

原則1：公平使用；

原則2：使用靈活；

原則3：簡單直覺地使用；

原則4：可感知的訊息；

原則5：容錯能力；

原則6：低體力勞動；

原則7：接近和使用的大小和空間。

在具體應用中，物聯網、眼動追蹤技術、語音辨識技術、AR/VR的使用以及雲端運算等，都是非常典型的人機互動案例。

HCI發展史以及大量觀點及案例證明，科技可以明顯改善HCI。

伴隨著通訊與資訊科技的突破與發展，它們持續為HCI帶來明顯的影響與改善。例如這些年來借助AI技術蓬勃發展的RPA，就為業務流程自動化以及辦公室業務場景帶來了極大的人機互動帶來體驗改善。

人機互動與RPA

前文我們提到，人機互動的目標是讓電腦更能適應人的需求，提供更友善、更智慧、更自然的互動方式，如語音辨識、影像辨識、自然語言處理、手勢控制等。

RPA是一種利用軟體機器人模擬人類操作的技術，它可以透過使用者介面與企業的應用系統交互，並完成預期任務的技術。

當代RPA也融合了人工智慧（AI）和機器學習（ML）相結合，實現智慧流程自動化（IPA），處理更複雜的用例，如自然語言處理（NLP）、電腦視覺（CV）和數據分析等。

RPA可以實現重複性、基於規則的工作流程的自動化，提高工作效率、準確性和合規性，降低人力成本，減少錯誤率，節省成本和時間，適用於各種重複性、標準化的業務場景，如財務、人力資源、供應鏈、資訊科技等。

王吉偉頻道曾在《數位轉型時代，RPA AI是打開人機協同的最佳方式》一文中講過，在當代企業管理軟體系統以及各種自動化工具中，從操作難度、部署週期、投資成本等角度而言，RPA可以算是廣大組織應用人機協同最好的方式。

在這其中，RPA最大的優勢就是降低了程式開發難度，可以讓第一線的業務人員參與到簡單應用的開發之中，讓全民開發成為進一步成為現實。

RPA之所以能做到這一點，在於它改變了程式開發的人機互動模式。使得不會編程的普通員工借助RPA工具，也能像程式設計師一樣開發他們需要的自動化程式或說軟體機器人。

一方面RPA讓開發程式變得更簡單，從寫程式碼變成了「拖曳」各種功能元件；另一方面可以讓更多的業務流程自動化，不再需要人力去重複執行。 可以說，RPA同時改變了程式開發和業務執行的人機互動。

所以，RPA與人機互動有著密切的關聯。因為RPA本質上是一種人機協同的工作模式，它需要人來定義規則、監督執行、最佳化改進，機器則負責執行規則、提供回饋、學習改進。

RPA不僅可以模擬人類的操作，還可以結合AI技術，實現對人類的理解和決策。例如利用OCR（光學字元辨識）技術辨識影像中的文字，利用NLP技術理解語言中的意圖，利用智慧決策技術制定最佳方案等。

融合AI等技術的RPA，具備以下幾個優勢：

1、有效減輕工作負擔，讓人們從繁瑣的後台任務中解放出來，專注於更有價值的創新和策略性的工作；

2、提高人機互動的速度和質量，軟體機器人可以全天候地工作，不受時間、地點和情緒的影響，也不會犯錯或遺漏；

3、拓展人機互動的範圍和深度，軟體機器人可以存取和整合多個不相關的軟體系統，處理大量結構化和非結構化數據，並利用AI和ML的能力進行學習和優化。

由此，RPA是一種有效且典型的優化人機互動的技術。它可以實現流程自動化、智慧化和最佳化，為企業帶來效率、品質和價值的提升。

LLM對人機互動的影響

LLM是一種利用神經網路在大量無標註文字上進行自監督學習或半監督學習的語言模型。 LLM具有大量的參數（通常為數十億或更多），能夠在多種任務上表現出優異的性能。

從目前各領域的應用來看，基於LLM的生成式AI技術的出現，為人機互動帶來了顛覆性的改變。

生成式AI給人們最直接的感觸就是，原來工作流程中的好多各種軟體操作以及跨軟體操作，現在只需要跟生成式AI進行幾輪對話就完成了。

例如用Midjourney產生圖片或是ChatGPT Plus產生軟體應用程式碼，已經完全不需要使用繪圖軟體及程式軟體。而ChatGPT 的插件生態正在快速完善，以後將會有越來越多應用場景的業務操作，只需要對話就能搞定。

這就是互動方式的改變，它直接將原有的與各種軟體UI的人機交互，變成了與一個聊天視窗進行交互，是一種前所未有的交互體驗。

總結起來，LLM或說生成式AI對人機互動產生了以下幾點影響：

首先，提高了人機互動的效率、品質和便利性。 透過生成式AI，使用者可以快速取得想要的資訊或服務，不需要花費大量的時間和精力。同時LLM可以根據使用者輸入和上下文產生合適的回复，減少使用者輸入負擔，提高互動流暢性和自然性。此外，生成式AI還可以根據使用者的回饋和偏好，動態地調整自己的輸出，以達到更好的互動效果。

例如ChatGPT可以幫助使用者完成寫作、設計、程式設計等複雜的任務，或是提供使用者個人化的推薦、諮詢、娛樂等內容。

其次，增加人機互動的多樣性和創造力。 LLM可以根據使用者需求和偏好產生不同風格的文字、音訊、視訊等內容，滿足使用者的個人化和多元化的需求。透過生成式AI，使用者可以接觸和選擇更多的內容，從而拓展視野和思維。當然，生成式AI也可以與使用者進行更深入和靈活的對話，滿足使用者不同的情感和情緒需求。

例如透過生成式AI為使用者提供不同風格和主題的文字、圖像、音樂等，或為使用者產生一些新穎有趣的內容，如詩歌、故事、笑話等。

第三，改變人機互動的關係和意義。 透過生成式AI，使用者可以與人工智慧建立更緊密和信任的聯繫，甚至產生一種共創與合作的感覺。

基於LLM的聊天機器人，可以為用戶提供更多的回饋和建議，或與用戶分享自己的想法和感受。生成式AI還可以讓使用者更了解自己和人工智慧的優勢和限制，以及如何更好地利用和發展它們。

第四，拓展人機互動的領域與場景。 ChatGPT等生成式AI應用具有強大的適應性和泛化性，可以應用於各種不同的領域和場景，如教育、娛樂、醫療、商業等。無論用戶想要學習、遊戲、諮詢、購物等，都可以透過與ChatGPT等應用程式交流來達到目的。

第五，增強人機互動的趣味性和親切感。 基於LLM的生成式AI應用具有豐富的知識和個性，可以根據用戶的興趣和情緒來調整自己的語言風格和話題，甚至可以生成一些幽默、詩歌、故事等創意內容來娛樂用戶。

這樣，使用者不會感到與機器人溝通是一件枯燥無味的事情，而會覺得與機器人溝通是一件有趣和溫馨的事情。

LLM對人機互動有著重要而複雜的影響，使得它在各個領域都有巨大發展潛力和產業應用價值。廣大組織應該積極地探索和利用LLM以及生成式AI，提升人機互動的水平和體驗，提高人機互動效率和質量，增強人機互動關係，拓展人機互動的領域和場景。

當然，我們也應該注意其帶來的風險和挑戰，以及如何合理地使用和監督它。

要說明的是，目前基於大語言模型的生成式AI正在與RPA快速融合，生成式AI將會為RPA的人機互動帶來質的飛躍。

LLM改變RPA人機互動

RPA可以自動化執行重複性、規則性和低價值的業務流程，可以提高效率、降低成本和減少錯誤。但它也面臨一些挑戰和局限性，例如難以處理複雜、多變和高價值的業務場景，以及難以適應業務流程的變化，需要不斷地維護和更新，難以處理複雜的、非結構化的、需要創造性或判斷力的任務等。

雖然超自動化架構已經讓RPA的運作夠穩定，但對於複雜流程而言也會有穩定運作的隱憂。

之前廠商們想盡各種辦法解決這些問題，但無法從根本上杜絕這些問題。直到基於LLM的生成式AI橫空出世，一下就解決了先前RPA遇到的多重難題。

對於LLM如何影響RPA，王吉偉頻道（id：jiwei1122）已經在《GPT等AI大模型震撼來襲，基於RPA的超級自動化仍是最佳落地載體》一文中有過詳細介紹。

這裡，再簡單說說LLM如何改變RPA的人機互動。

LLM可以為RPA提供更強大的自然語言處理能力，提供更強大的知識獲取和推理能力，以及提供更強大的生成和創造能力。

具體而言，LLM對於RPA人機互動的影響可以反映在以下幾個面向：

提高RPA的智慧水準。 應用LLM，能夠更好地識別和理解使用者的自然語言輸入以及產生自然語言，並更好地滿足使用者的需求和意圖。還可以根據上下文和目標產生合適的操作步驟，進行多輪對話和推理，處理更複雜和多樣化的業務場景，實現更複雜和靈活的業務流程自動化。

使用者可以透過語音或文字與RPA進行對話，告訴它要執行什麼任務，而不需要透過複雜的程式設計或拖曳組件來設計流程。

此外，LLM也可以幫助RPA進行知識擷取和推理，從而提供更有價值的資訊和建議。

擴充RPA的應用範圍。 LLM可以有效擴大RPA的應用範圍，讓軟體機器人能夠處理更多涉及自然語言的任務，例如文字分類、文字摘要、文字生成、機器翻譯、問答系統等。也可以透過與其他模態的數據進行交互，例如圖像、音訊、視訊等，從而實現更豐富和多維的業務流程。

LLM還可以讓軟體機器人能夠與其他AI技術如OCR、NLP、低程式碼、流程挖掘、chatbot等進行整合和協作，實現超級自動化。

透過使用LLM，RPA可以跨越語言和文化的障礙，服務更廣泛和多元的客戶和市場。

增加RPA的創新潛力。 LLM可以增強RPA的創造力和靈活性，使其能夠根據不同的場景和數據產生適合的文本，如報告、摘要、建議等。例如，RPA可以根據使用者提供的關鍵字或主題，自動產生一篇部落格文章，並在文章中插入相關的圖片、影片、連結等。

透過使用LLM，RPA可以進行更靈活和自適應的學習和生成，產生更多新穎有趣的內容和方案。 LLM也可以與人類進行更有效和友善的協作和溝通，激發更多的創意和靈感。

提升RPA的開發效率。 生成式AI可以讓使用者透過簡單的語言描述來定義和修改業務流程，而不需要編寫複雜的程式碼或使用圖形化介面。並可根據使用者的回饋和數據分析來優化和調整業務流程，以實現持續改進。

優化RPA互動體驗與使用者滿意度。 融合LLM的RPA能夠與使用者進行更自然、友善、有趣的對話，增加用戶的信任與參與感。 RPA可以根據使用者的情緒和興趣，調整語氣和風格，甚至講一些幽默或引用一些名人名言來調節氣氛。

擴展閱讀：ChatGPT與RPA集成，生成式AI 自動化流程讓AIGC價值倍增

當然，LLM對RPA人機互動的影響不只是智慧、效率和創新層面的，它也直接影響了RPA的軟體架構變化。

後記：LLM影響下的RPA架構變遷

#在LLM之前，RPA已經大幅改善了程式開發以及流程自動化的人機互動。而且，許多廠商都已經打出了「RPA人人可用」的概念。在這個概念的背後，其實就是RPA的易用性越來越強，應用它開發程式並實施流程自動化越簡單。

在易用性方面，從CV到螢幕抓取再到AI模型，廠商們做了大量的探索與嘗試。在RPA的程式開發環節上，基於AI、0程式碼等技術，RPA正在逐步擺脫原有的「拖曳」形式，向「點選用」以及對話式（包括語音驅動）流程創建的方式過渡。

在人機互動上，對話式流程創建，可以說是RPA乃至超自動化的終極狀態。未來我們要使用超自動化，只要在系統內打幾行字或是說一句話就能創造各種軟體機器人或自動化程式。

但是先前的對話式創建，僅適用於簡單的預先設定流程。稍微複雜的流程便無能為力，或是需要更多流程步驟來觸發和調動更多流程才能實現。流程的健壯性難以經受考驗，且使用者必須熟悉對應語法及指令才能使用。

在應用程式體驗上，仍存在一些不足或說進步空間。

LLM出現之後，對於融合生成式AI的RPA產品，使用者使用自然語言都能驅動RPA去建立流程。

並且生成式AI以生成內容的形式彌補RPA在情緒識別、非結構化資料處理等方面的不足，可以讓任何人無需太多學習就能更加簡單、快速、高效的驅動RPA開發各種自動化程序，真正讓RPA實現了人人可用。

以前使用RPA，是人直接操作RPA透過妥拉拽搭積木的方式搭建各種程序。現在則是人透過自然語言與GPT等生成式AI溝通，多模態AI在理解人類操作意圖後，進一步驅動RPA連接企業管理軟體去自動化執行各種業務流程。

GPT等AI大模型則進一步連接了人與RPA等系統，向上連接人的意圖，向下指揮RPA機器人，成為人和RPA等自動化系統之間的一個紐帶，讓程式開發與自動化流程的操作更加簡單。

GPT把人和基於RPA的超自動化連結起來，這是人機互動體驗上一個巨大的進步。

在王吉偉頻道看來，從過去的“人RPA”到現在的“人生成式AI RPA”，引入LLM以及集成生成式AI，表面看是極大地提升了RPA產品的人機交互，本質上是LLM影響了RPA的架構變化。

現在幾乎所有廠商都在重度研究LLM與RPA以及超自動化的全面融合，RPA都已在產品架構中加入了模型層。

這意味著，不管是呼叫第三方模型或自研模型，RPA都已成為標準的模型層上的應用。

可以預見，接下來隨著LLM成為RPA的標配，它也將全面改變大模型時代的RPA。

以上是從'人+RPA”到'人+生成式AI+RPA”，LLM如何影響RPA人機互動？的詳細內容。更多資訊請關注PHP中文網其他相關文章！