인간과 AI 간의 의사결정 협업: 의사결정 문제의 공식화, 설명 및 평가

인공지능, 데이터 시각화 등의 분야에서는 정보 표시를 활용하여 인간이 더 나은 결정을 내릴 수 있도록 돕는 방법이 중요한 연구 목표입니다. 그러나 현재 의사결정 문제의 정의와 인간의 의사결정 성과를 평가하는 방법에 대한 실험 설계에 대한 명확한 합의가 이루어지지 않았습니다. 최근 논문에서는 통계적 의사결정 이론과 정보경제학을 기반으로 의사결정 문제의 정의를 제안하고 인간의 의사결정 성과 손실을 평가하기 위한 프레임워크를 제공합니다. 이 기사에서는 논문을 해석하고 의사 결정에 관한 연구 발전에 대한 시사점을 탐구할 것입니다.

"Decision Theoretic Foundations for Experiments Evaluating Human Decisions"라는 논문에서 미국 전문가 3명이 인간 중심 인공 지능(HCAI), 시각화 및 관련 분야 연구의 공통 목표 달성을 위한 의사 결정에 도움이 되는 정보 인터페이스를 제공합니다. . 이들 전문가들은 시각화 연구자들이 데이터 시각화의 중요한 목표로서 의사결정 지원을 강조한다고 주장합니다. 동시에 인간 중심 인공지능에서는 인간의 의사결정 행동에 대한 실증적 연구 역시 “의사결정을 지원하는 데 있어서 인공지능 기술의 효과를 평가하고, 인간이 인공지능과 상호작용하는 방식에 대한 기본적인 이해를 발전시키는 것”으로 널리 인식되고 있다. 결정을 내리기 위해" "필요한 내용입니다. 이러한 연구의 목표는 의사 결정의 정확성과 효율성을 향상하고, 인공 지능 기술과 인간 의사 결정자 간의 좋은 상호 작용을 보장하며, 사람들에게 더 나은 의사 결정 지원을 제공하는 것입니다.

그들은 인간 의사 결정의 정보 표시를 연구함으로써 최소한의 이론적 약속을 명확하게 정의할 수 있으며 이를 통해 작업에 대한 규범적인 행동을 결정할 수 있는 가능성을 제공한다고 믿습니다. 다행스럽게도 기존의 통계적 결정 이론과 기대 효용 이론은 이러한 문제를 해결할 수 있으며 의사 결정 연구를 위해 엄격하게 파생되고 널리 적용 가능한 프레임워크를 제공할 수 있습니다. 또한, 정보 경제학의 발전은 모델 예측을 위한 시각화 및 해석 옵션을 설계하는 방법을 포함할 수 있는 의사 결정 문제에 대한 정보 구조의 형식화에 대한 솔루션도 제공합니다.

통계적 의사결정 이론과 정보경제학에서 잘 정의된 의사결정 문제에 대한 광범위하게 적용 가능한 정의를 종합하고 데이터 기반 인터페이스를 통한 HCAI 및 관련 의사결정 연구에서 이러한 접근 방식의 가치를 고취합니다. 그들의 첫 번째 기여는 최적의 결정을 식별하고 이를 통해 인간 의사 결정의 편견을 식별하기 위해 의사 결정 문제에 대해 정의되어야 하는 최소 구성 요소 집합을 설정하고 동기를 부여하는 것이었습니다. 합리적인 베이지안 에이전트의 개념을 사용하여 그들은 연구 참가자가 이론적으로 자신이 제공하는 정보에서 규범적인 결정을 식별할 수 있는 경우에만 성능 손실을 고려할 수 있음을 보여줍니다. 그들은 46개의 기존 연구 샘플에서 35개의 연구가 인간의 의사 결정 결함에 대한 결론을 도출하기 위해 예측 디스플레이를 사용했지만 이 중 6개(17%)만이 참가자에게 최소한 원칙에 따라 최선의 결정을 내릴 수 있습니다. 그들은 예를 사용하여 이러한 결론의 인식론적 위험을 설명하고 실험자가 결과의 해석 가능성을 향상시킬 수 있는 제안을 제공합니다.

논문 저자의 배경

이 논문의 제목은 "Decision Theoretic Foundations for Experiments Evaluating Human Decisions"입니다. 이 논문은 Jessica Hullman, Alex Kale 및 Jason Hartline, 세 컴퓨터가 공동 집필했습니다. 미국 노스웨스턴 대학의 과학자들이 2024년 1월 25일 arXiv에 게재되었습니다(논문 주소: https://arxiv.org/abs/2401.15106). 세 저자는 인공지능, 데이터 시각화, 인간-컴퓨터 상호작용 등 분야에서 저명한 학자들이다. 이들의 연구 결과는 ACM CHI, ACM CSCW, IEEE VIS, ACM 등 유수 학술회의 및 저널에 게재됐다. EC 등 그들의 연구 관심 분야는 주로 인공 지능과 데이터 시각화를 사용하여 인간이 위험 평가, 예측, 권장 등과 같은 복잡한 불확실성 문제를 이해하고 결정을 내릴 수 있도록 돕는 방법에 중점을 둡니다.

논문

의 주요 기여는 행동 공간, 상태 공간, 채점 규칙, 사전 신념, 데이터 생성 모델 및 신호 전략과 같은 요소를 포함하여 일반적인 의사 결정 문제에 대한 정의를 제공하고 설명합니다. 이러한 요소를 사용하여 최적의 조치와 ​​예상 유용성을 결정하는 방법.

사전 손실, 수신 손실, 업데이트 손실, 최적화 손실 등 4가지 잠재적 손실 원인을 포함하여 인간의 의사 결정 성능 손실을 평가하기 위한 프레임워크를 제안하고 실험 설계 및 결과를 통해 이러한 손실을 추정하고 분석하는 방법을 탐색합니다. .

최근 몇 년 동안 연구자들은 인공 지능 지원 의사 결정을 코딩하고 평가했으며 그 결과 소수의 연구(약 17%)만이 참가자가 규범적인 결정을 내릴 수 있도록 충분한 정보를 제공하는 것으로 나타났습니다. 대신 대부분의 연구(약 83%)는 불명확하고 불완전한 의사결정 문제로 인해 인간의 의사결정 편향 및 결함에 대한 신뢰할 수 없는 결론을 도출합니다.

이론적 근거 및 방법

본 논문의 이론적 근거는 주로 통계적 의사결정 이론과 정보경제학에서 비롯됩니다. 통계적 의사결정 이론은 불확실성 하에서 최적의 선택을 내리는 방법을 연구하며, 의사결정자의 선호, 신념, 행동 간의 관계에 초점을 맞추고, 데이터와 정보를 사용하여 신념을 업데이트하고 행동을 선택하는 방법을 연구합니다. 정보경제학은 정보의 생산, 보급, 소비 메커니즘뿐만 아니라 비대칭적이고 불완전하며 신뢰할 수 없는 정보가 시장과 사회에 미치는 영향에 중점을 두고 정보가 경제적 행동과 결과에 미치는 영향을 연구합니다. 이 두 분야는 논문의 중요한 이론적 기초를 제공하고 경제에서 의사결정과 정보의 역할과 영향을 깊이 이해하는 데 도움이 됩니다.

본 논문의 방법은 주로 베이지안 이론과 기대효용 이론을 기반으로 합니다. 베이지안 이론은 불확실성을 설명하고 추론하는 데 사용되는 확률 이론으로, 사전 믿음과 관측 데이터를 기반으로 사후 믿음, 즉 주어진 데이터 조건에서 특정 가설이나 사건이 발생할 확률을 계산하는 데 중점을 둡니다. 기대 효용 이론(Expected Utility Theory)은 효용 함수와 확률 분포를 바탕으로 다양한 상태에서 생산된 효용의 가중 평균인 기대 효용을 계산하는 방법에 초점을 맞춘 위험한 결정을 평가하기 위한 이론입니다. 이 접근 방식은 베이지안 추론과 효용 평가를 결합하여 불확실성에 직면하여 의사 결정자에게 최적의 결정을 제공합니다.

결정 문제 정의

결정 문제와 그에 상응하는 최적의 행동 기준을 정의하여 해당 기준에 따른 성능 저하를 결정합니다. 그들의 정의는 인간 행동의 통제된 평가, 즉 규범적인 의사 결정에 대한 연구를 목표로 합니다. 이러한 유형의 평가 연구에는 연구 참가자가 질문하는 상태에 대한 기본 사실을 결정할 수 있는 능력이 필요합니다. 행동 데이터(인간 또는 시뮬레이션에 의해 생성될 수 있음)는 정보 제공에 의해 유발된 행동을 이해한다는 목표로 통제된 조건에서 수집됩니다. 이러한 연구는 특정 상황(예: 전략적 맥락에서 디스플레이를 기반으로 사람들이 결정을 내리는 정도)에서 인간 수행의 품질을 설명하고 인간 수행(예: 다양한 시각화 또는 인공 지능)에 따라 다양한 보조 요소의 순위를 지정하는 데 종종 사용됩니다. ) 지능적인 설명 전략) 또는 인간이 결정을 내리는 방법이나 더 나은 결정을 내리는 데 도움이 되는 것이 무엇인지에 대한 가설을 테스트합니다(예: 인지 강제 기능은 AI 지원 의사 결정을 향상시킵니다).

최적 행동과 기대 효용의 계산

위와 같이 정의된 결정 문제가 주어지면 에이전트가 일관된 선호를 갖고 불확실한 결과 수단 하에서 행동 간에 최적의 결정을 내린다고 가정하여 규범적(" 최적") 결정. 따라서 그들은 실험 참가자의 성과를 이 기준을 충족하고 성과 오류(손실)의 원인을 식별하려는 시도로 해석할 수 있습니다.

이를 위해 먼저 에이전트의 선호도가 점수 규칙으로 요약될 수 있다고 가정합니다. 에이전트가 기대 효용(점수)을 최대화하는 행동을 선택한다고 가정합니다.

그림

설명하는 에이전트의 신념 분포는 주체가 믿는 세계 상태의 확률 분포입니다. 최적의 행동은 에이전트의 기대 효용을 최대화하는 행동으로 정의할 수 있습니다.

Picture

특히 의사 결정 작업에 대한 최적의 결정을 계산하기 위해 에이전트를 먼저 정의합니다. 위에서 설명한 대로 π의 방정식: Pr(θ) 또는 p(θ)입니다. 신호 전략이 신호를 통해 직접 π(θ |u)를 표시하지 않지만 θ를 알릴 때마다 에이전트는 신호를 본 후 Bayes의 규칙을 사용하여 지식을 기반으로 신호에 대한 응답을 예측한다고 가정합니다. 데이터 생성 모델 합계 상태에 대한 이전 믿음은 사후 믿음으로 업데이트됩니다. π:

picture

u는 정규화 인자입니다. 수학식 3의 정의는 에이전트가 알 수 있도록 q(θ)를 계산한다는 것을 의미합니다.

그림

이러한 사후 믿음을 바탕으로 우리는 방정식 2를 사용하여 완벽하게 합리적인 에이전트가 기대 효용을 극대화하기 위해 선택한 행동 S를 결정합니다.

저자의 컴퓨팅 프레임워크는 인간과 인공지능의 의사결정 협업을 위한 유용한 도구를 제공하며, 이는 인간의 의사결정 행동과 효과를 분석하고 개선하는 것은 물론 인간의 의사결정 품질과 만족도를 높이는 데 도움이 될 수 있습니다. 그들의 계산 프레임워크는 의사결정 이론과 방법의 확장과 심화를 위한 고무적이고 혁신적인 공간을 제공하며 더 많은 의사결정 요소와 메커니즘은 물론 더 많은 의사결정 모델과 전략을 탐색할 수 있습니다.

인간의 의사결정 성능 손실 평가

위 프레임워크를 사용하는 주요 동기는 본질적으로 인식론적이며 실험 결과에 대한 지식과 관련이 있습니다. 인간의 의사결정 실험에서 의사결정 문제에 대한 반응을 잘못된 의사결정 과정의 증거로 해석하기 위해 실험은 참가자에게 원칙적으로 그들의 행동을 판단할 규범적 결정을 결정할 수 있는 충분한 정보를 제공해야 합니다. 즉, 실험은 참여자들에게 규범적 해석과 일치하는 의사결정 문제를 이해할 수 있도록 충분한 정보를 제공합니까?

그들은 신경망 모델이 전망 이론, 환경 기반 모델, 하이브리드 모델 등 기존 심리학 연구를 재현하고 능가할 수 있음을 발견했습니다. 신경망 모델은 다양한 가정을 기반으로 다양한 위험 인식 기능과 기능 간의 가중치를 자동으로 학습할 수 있습니다. 저자들은 또한 인간의 위험 인식 기능이 비선형적이고 시나리오에 따라 다르며 확률과 수익 사이에 상호의존적인 관계가 있음을 발견했습니다. 이러한 발견은 인간의 위험에 대한 의사결정이 극도로 복잡하며 단순한 가정에 의존할 수 없음을 보여줍니다.

저자는 인간의 의사결정 성과의 손실 정도를 측정하기 위해 간단한 척도를 사용했는데, 이는 인간의 선택과 최적의 선택의 평균 차이입니다. 저자는 인간의 의사 결정 성능 손실이 0.01에서 0.5까지 시나리오에 따라 크게 다르다는 것을 발견했습니다. 저자들은 또한 인간의 의사결정 성능 손실이 신경망 모델의 예측 오류와 양의 상관관계가 있음을 발견했습니다. 즉, 신경망 모델이 인간의 선택을 예측하기 어려울수록 인간의 의사결정 성능은 더 높아집니다. 손실. 이는 신경망 모델이 인간 위험 인식의 특성뿐만 아니라 인간 위험 의사결정의 비합리성과 불일치도 효과적으로 포착할 수 있음을 보여줍니다.

저자의 평가 프레임워크는 인간과 인공지능 간의 의사결정 협업을 위한 유용한 도구를 제공하며, 이는 인간의 의사결정 행동과 효과를 분석하고 개선하는 것은 물론 인간의 의사결정 품질과 만족도를 향상시키는 데 도움이 될 수 있습니다. 저자의 평가 프레임워크는 또한 의사결정 이론과 방법의 확장과 심화를 위한 영감을 주고 혁신적인 공간을 제공하여 더 많은 의사결정 요소와 메커니즘은 물론 더 많은 의사결정 모델과 전략을 탐구할 수 있게 해줍니다.

실증적 분석 및 결과

본 논문의 실증적 분석은 주로 최근 몇 년간 인공지능 기반 의사결정에 관한 연구를 코딩하고 평가하여 이러한 연구가 의사결정 이론의 틀과 일치하는지 테스트합니다. 그리고 그것이 인간의 의사결정에 유익한지 여부. 결함이나 손실에 대해 합리적인 결론이 내려졌는지 여부. 저자는 2018년부터 2021년 사이에 ACM 또는 ACL 컨퍼런스에서 발표되었으며 분류 또는 회귀 문제에 대한 인공 지능 지원 의사 결정에 대한 실험을 포함하는 Lai 등의 문헌 검토에서 46개 연구를 무작위로 선택했습니다.

저자는 이러한 연구를 다음 세 가지 측면에 따라 코딩했습니다.

결정 이론 틀의 적용 가능성: 결정될 수 있는 실제 상태가 있는지, 상태와 관련된 이득 또는 손실이 있는지 여부.

인간의 의사결정에 대한 평가: 인공지능에 대한 과도한 의존이나 의존도가 부족한 현상을 지적하거나, 인간의 의사결정에 영향을 미치는 요인이나 원인.

결정 문제 명확성: 행동 공간, 상태 공간, 채점 규칙, 사전 신념, 데이터 생성 모델, 신호 전략 등을 포함하여 규범적인 결정을 식별하기 위해 참가자에게 충분한 정보가 제공되는지 여부

저자의 코딩 결과에 따르면 11개 연구(24%)에는 주관적인 음악이나 영화 추천, 감정 인식 등 결정 가능한 실제 상태가 없는 작업이 포함되어 있으며 이러한 연구는 의사결정 이론 프레임워크에 적합하지 않습니다. 나머지 35개 연구(76%)는 인간 의사 결정의 성과나 질에 대해 평가 또는 판단을 내렸지만, 6개 연구(17%)만이 참가자에게 규범적 결정을 식별하는 데 충분한 정보를 제공한 반면, 나머지 29개 연구(83%)는 참가자에게 제공했습니다. 불분명하고 불완전한 의사 결정 문제가 있어 인간 의사 결정의 편견과 결함에 대한 신뢰할 수 없는 결론을 이끌어 냈습니다. 저자는 또한 이들 연구의 사전 신념에 대한 의사소통 부족, 사후 신념에 대한 계산 부족, 동기 부여 부족 및 채점 규칙 비교 부족 등 이들 연구의 구체적인 문제점과 개선 방법에 대해 자세히 분석하고 논의합니다. 저자는 이러한 문제가 모두 연구자의 의사결정 문제에 대한 정의와 전달이 부족하고, 실험 세계와 실제 세계의 관계에 대한 이해가 불분명한 데서 비롯된다고 믿습니다. 저자는 연구자들이 실험을 설계할 때 의사결정 이론의 틀을 충분히 고려하고, 의사결정 문제의 모든 필수 구성요소를 참가자와 독자에게 명확하게 전달하여 인간의 의사결정 행동을 효과적으로 평가하고 개선해야 한다고 권고합니다.

미래 연구

본 논문의 한계는 주로 기대 효용 이론과 규범적 방법에 대한 도전과 비판에서 비롯됩니다. 기대효용이론(Expected Utility Theory)은 합리성과 최적화에 기초한 의사결정 이론으로, 의사결정자는 완전한 정보와 컴퓨팅 능력은 물론 일관되고 안정적인 선호도를 갖고 있다고 가정합니다. 그러나 이러한 가정은 현실 세계에서는 적용되지 않는 경우가 많습니다. 인간의 의사결정 행동은 인지적, 감정적, 사회적, 도덕적 및 기타 요인의 영향을 받아 기대효용이론의 예측에서 벗어날 수 있습니다. 규범적 접근 방식은 의사 결정자가 명확한 가치 목표를 가지고 있고 다양한 행동이 가치 목표에 미치는 영향을 평가하는 방법을 가지고 있다고 가정하는 의사 결정에 대한 가치 및 목표 기반 접근 방식입니다. 그러나 이러한 가정은 인간의 가치가 다양하고 역동적이며 모호할 수 있고 다른 사람이나 사회의 가치와 충돌하거나 조화를 이룰 수 있는 현실 세계에서는 종종 적용되지 않습니다. 따라서 본 논문의 프레임워크와 방법은 일부 주관적이고 복잡하며 다중 객관적인 의사 결정 문제에 적합하지 않을 수 있으며 일부 인간 의사 결정의 고유한 가치와 중요성을 무시할 수도 있습니다.

향후 작업은 주로 다음 네 가지 측면에서 확장되고 심화될 예정입니다.

인간의 실제 의사 결정 행동과 선호도를 더 잘 설명하고 평가하기 위해 행동 경제학, 다중 속성 효용 이론, 다중 기준 의사 결정 분석 등과 같은 다른 의사 결정 이론 및 방법을 살펴보세요.

의사 결정 문제의 다양한 구성 요소를 더 잘 전달하고 설명할 뿐만 아니라 인간의 정보 수신 및 처리 능력을 향상시키기 위해 자연어, 그래픽, 소리, 터치 등과 같은 다양한 정보 표시 및 상호 작용 방법을 연구합니다. .

인간의 의사결정 동기와 참여를 더 잘 자극하고 유지할 뿐만 아니라 인간의 의사결정 학습 및 참여를 향상시키기 위해 보상, 처벌, 신뢰성, 평판, 사회적 영향력 등과 같은 다양한 인센티브 및 피드백 메커니즘을 시도하십시오. 개선 능력.

지원, 제안, 대행사, 협상, 조정 등 다양한 AI와 인간 협업 모드를 확장하여 AI와 인간의 장점과 단점의 균형을 맞추고 활용하며 AI와 인간의 성능을 향상시킵니다. 그리고 만족.

의미와 가치

이 논문은 인공 지능, 데이터 시각화, 인간-컴퓨터 상호 작용 및 기타 분야의 연구자들에게 더 나은 디자인을 위해 의사 결정 문제를 정의하고 평가하기 위한 명확하고 조직적인 프레임워크를 제공합니다. 인간과 인공지능의 의사결정 협업에 대한 실험을 분석합니다.

인공 지능, 데이터 시각화, 인간-컴퓨터 상호 작용 및 기타 분야의 연구자에게 객관적이고 엄격한 방법을 제공하여 인간과 인공 사이의 의사 결정 협력을 더 잘 식별하고 개선하기 위해 의사 결정 성능 손실을 평가하고 분석합니다. 지능. 효과와 품질. 이는 인간과 AI 의사결정 협업의 문제와 과제를 더 잘 이해하고 전달하기 위해 의사결정 문제의 전달 및 해석에 대한 비판적이고 성찰적인 관점을 제공합니다. 또한 인간과 인공지능 간의 의사결정 협업의 가능성과 잠재력을 더 잘 탐구하고 발견하기 위해 확장되고 심층적인 의사결정 문제에 대한 고무적이고 혁신적인 방향을 제공합니다.

요약 및 전망

본 논문에서는 통계적 의사결정 이론과 정보경제학을 기반으로 의사결정 문제의 정의와 인간의 의사결정 성과 손실을 평가하기 위한 프레임워크를 제안합니다. 이들의 목적은 인공 지능, 데이터 시각화, 인간-컴퓨터 상호 작용 및 기타 분야의 연구자에게 인간과 인공 지능 간의 의사 결정 협력에 대한 실험을 더 잘 설계하고 분석할 수 있도록 명확하고 체계적인 지침과 참고 자료를 제공하는 것입니다. 그들은 최근 몇 년간 관련 연구를 코딩하고 평가한 결과, 소수의 연구만이 참가자에게 규범적 결정을 식별하는 데 충분한 정보를 제공한 반면, 대부분의 연구는 불분명하고 불완전한 결정 문제로 어려움을 겪고 있음을 발견했습니다. 만드는 것은 신뢰할 수 없습니다. 우리는 연구자들이 실험을 설계할 때 의사결정 이론의 틀을 완전히 고려하고 인간의 의사결정 행동을 효과적으로 평가하고 개선하기 위해 의사결정 문제의 모든 필수 구성요소를 참가자와 독자에게 명확하게 전달할 것을 권장합니다.

저자는 프레임워크와 방법의 한계와 향후 작업의 필요성도 알고 있습니다. 그들의 프레임워크와 방법은 기대 효용 이론과 규범적 방법을 기반으로 하지만 실제 인간 의사 결정 행동 및 선호도와 일치하지 않고 인간 의사 결정의 본질적인 가치와 중요성을 무시하는 등 몇 가지 과제와 비판도 있습니다. 그들의 프레임워크와 방법은 일부 주관적이고 복잡하며 다중 객관적인 의사 결정 문제에 적합하지 않을 수 있으며 인간과 인공 지능 간의 의사 결정 협력의 모든 가능성과 잠재력을 포괄하지 못할 수도 있습니다. 따라서 우리의 향후 작업은 주로 다른 의사 결정 이론 및 방법을 탐구하고, 다양한 정보 표시 및 상호 작용 방법을 연구하고, 다양한 인센티브 및 피드백 메커니즘을 연구하고, 다양한 인공 지능 및 인간 협업 모드를 연구하는 측면에서 확장하고 심화하는 것입니다. (끝)

참고자료: https://arxiv.org/abs/2401.15106

위 내용은 인간과 AI 간의 의사결정 협업: 의사결정 문제의 공식화, 설명 및 평가의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!