생성 AI 시대에 책임있는 AI

소개

우리는 이제 인공 지능의 시대에 살고 있습니다. 우리 주변의 모든 것이 하루 종일 더 똑똑해지고 있습니다. 최첨단 대형 언어 모델 (LLM) 및 AI 에이전트는 최소한의 인간 개입으로 복잡한 작업을 수행 할 수 있습니다. 이러한 고급 기술을 통해 책임감있게 개발하고 배포해야합니다. 이 기사는 Datahack Summit 2024의 Bhaskarjit Sarmah의 워크숍을 기반으로합니다. Genai (Genai) 모델에 특별한 초점을 맞추면서 책임있는 AI를 구축하는 방법을 배울 것입니다. 또한 NIST (National Institute of Standards and Technology)의 위험 관리 프레임 워크의 지침을 살펴보고 AI의 책임있는 개발 및 배치를 보장합니다.

개요

• 책임있는 AI가 무엇인지, 왜 중요한지 이해하십시오.
• 책임있는 AI의 7 가지 기둥과 NIST 프레임 워크가 책임있는 AI를 개발하고 배치하는 데 어떻게 도움이되는지 알아보십시오.
• AI 모델에서 환각이 무엇인지, 어떻게 감지 될 수 있는지 이해하십시오.
• 책임있는 AI 모델을 구축하는 방법을 배우십시오.

목차

• 소개
• 책임있는 AI는 무엇입니까?
• 책임있는 AI가 중요한 이유는 무엇입니까?
• 책임있는 AI의 7 기둥
  • AI 생성 컨텐츠의 불확실성을 고정합니다
  • AI 생성 응답의 안전 보장
  • Genai 모델의 보안 향상
  • Genai 모델의 책임 증가
  • AI 생성 응답의 투명성 보장
  • Genai 모델에 공정성을 통합합니다
  • AI 생성 응답으로 개인 정보 보호를 보호합니다
• Genai 모델의 환각은 무엇입니까?
• Genai 모델에서 환각을 감지하는 방법?
• 책임있는 AI 구축
• 결론
• 자주 묻는 질문

책임있는 AI는 무엇입니까?

책임있는 AI는 윤리적 고려 사항, 공정성, 투명성 및 책임을 우선시하는 AI 시스템 설계, 개발 및 배포를 말합니다. 사용자와 커뮤니티에 대한 부정적인 영향을 없애기 위해 편견, 개인 정보 및 보안에 대한 우려를 해결합니다. AI 기술이 인간의 가치와 사회적 요구와 일치하도록하는 것을 목표로합니다.

책임있는 AI를 구축하는 것은 다단계 프로세스입니다. 여기에는 데이터 사용, 알고리즘 설계 및 의사 결정 프로세스에 대한 지침 및 표준을 구현해야합니다. 개발 과정에서 다양한 이해 관계자로부터 입력을 받아 편견과 싸우고 공정성을 보장하는 것이 포함됩니다. 이 과정은 또한 의도하지 않은 결과를 식별하고 수정하기 위해 AI 시스템의 지속적인 모니터링이 필요합니다. 책임있는 AI의 주요 목표는 윤리적, 법적 표준을 충족시키면서 사회에 도움이되는 기술을 개발하는 것입니다.

권장 시계 : 책임있는 AI 탐색 : Ravit Dotan의 통찰력, 프레임 워크 및 혁신 | 데이터로 선도 37

책임있는 AI가 중요한 이유는 무엇입니까?

LLM은 인터넷에서 사용할 수있는 다양한 정보가 포함 된 대형 데이터 세트에 대해 교육을받습니다. 여기에는 기밀 및 개인 식별 정보 (PII)와 함께 저작권이있는 콘텐츠가 포함될 수 있습니다. 결과적으로 생성 AI 모델에 의해 생성 된 응답은이 정보를 불법적이거나 유해한 방식으로 사용할 수 있습니다.

이것은 또한 Genai 모델을 속이는 사람들이 이메일 ID, 전화 번호 및 신용 카드 정보와 같은 PII를 제공하도록 위험을 초래합니다. 따라서 언어 모델이 저작권이있는 콘텐츠를 재생하거나 독성 출력을 생성하거나 PII를 제공하지 않도록하는 것이 중요합니다.

AI에 의해 점점 더 많은 작업이 자동화되면 AI 생성 응답의 편견, 신뢰 및 투명성과 관련된 다른 문제도 증가하고 있습니다.

예를 들어, 감정 분류 모델은 전통적으로 기본 자연 언어 프로세서 (NLP)를 사용하여 구축되었습니다. 그러나 여기에는 데이터 수집, 데이터 라벨링, 기능 추출, 모델 교육, 하이퍼 파라미터 조정 등이 포함 된 긴 프로세스였습니다. 그러나 이제 Genai를 사용하면 간단한 프롬프트만으로 감정 분석을 수행 할 수 있습니다! 그러나 모델의 교육 데이터에 편향이 포함 된 경우 모델이 바이어스 출력을 생성하게됩니다. 이것은 특히 의사 결정 모델에서 큰 관심사입니다.

이것이 책임있는 AI 개발이 시간의 필요성 인 이유에 대한 주요 이유 중 일부일뿐입니다.

책임있는 AI의 7 기둥

2023 년 10 월, Biden 미국 회장은 AI 신청서를 안전하고 안전하며 신뢰할 수있는 방식으로 배치하고 사용해야한다는 행정 명령을 발표했습니다. 그의 주문에 따라 NIST는 새로운 모델을 공개하기 전에 AI 개발자가 따라야하는 엄격한 표준을 설정했습니다. 이 규칙은 생성 AI의 안전한 사용과 관련하여 직면 한 가장 큰 과제 중 일부를 해결하기 위해 설정되었습니다.

NIST 위험 관리 프레임 워크에 명시된대로 책임있는 AI의 7 가지 기둥은 다음과 같습니다.

1. 불확실성
2. 안전
3. 보안
4. 책임
5. 투명도
6. 공평
7. 은둔

책임있는 Genai 모델 개발에 어떻게 도움이되는지 알아 보려면 이러한 각 지침을 자세히 살펴 보겠습니다.

1. AI 생성 컨텐츠의 불확실성 수정

Genai 또는 기타 기계 학습 모델은 100% 정확하지 않습니다. 그들이 정확한 응답을 제공 할 때가 있고 출력이 환각 될 수있는 경우가 있습니다. AI 모델의 응답을 언제 신뢰 해야하는지, 언제 의심해야할지 어떻게 알 수 있습니까?

이 문제를 해결하는 한 가지 방법은 모든 응답에 대해 환각 점수 또는 신뢰 점수를 도입하는 것입니다. 신뢰 점수는 기본적으로 모델이 응답의 정확성에 대한 확신을 알려주는 척도입니다. 예를 들어, 모델이 20% 또는 90% 확실한 경우. 이것은 AI 생성 응답의 신뢰성을 증가시킬 것입니다.

모델 신뢰는 어떻게 계산됩니까?

모델 응답의 신뢰 점수를 계산하는 3 가지 방법이 있습니다.

• 적합한 예측 : 이 통계적 방법은 지정된 확률을 갖는 실제 레이블을 포함하는 예측 세트를 생성합니다. 예측 세트가 보증 요구 사항을 충족하는지 확인하고 확인합니다.
• 엔트로피 기반 방법 : 이 방법은 예측 된 클래스에 대한 확률 분포의 엔트로피를 계산하여 모델 예측의 불확실성을 측정합니다.
• 베이지안 방법 : 이 방법은 확률 분포를 사용하여 응답의 불확실성을 나타냅니다. 이 방법은 계산 집약적이지만보다 포괄적 인 불확실성을 제공합니다.

2. AI 생성 응답의 안전성 보장

AI 모델 사용의 안전은 해결해야 할 또 다른 관심사입니다. LLM은 때때로 훈련 데이터 세트에 이러한 내용이 존재할 수 있으므로 독성, 증오 또는 편향된 반응을 생성 할 수 있습니다. 결과적으로, 이러한 반응은 사용자에게 정서적, 이데올로기 적으로 또는 그렇지 않으면 안전을 손상시킬 수 있습니다.

언어 모델의 맥락에서 독성은 모델에 의해 생성 된 유해하거나 공격적인 내용을 말합니다. 이것은 증오하는 말, 인종 또는 성별 기반의 편견 또는 정치적 편견의 형태 일 수 있습니다. 반응에는 고정 관념 및 미세 침해와 같은 미묘하고 암시적인 형태의 독성이 포함될 수 있으며, 이는 감지하기가 더 어렵다. 이전 가이드 라인과 유사하게 AI 생성 컨텐츠에 대한 안전 점수를 도입하여 수정해야합니다.

3. Genai 모델의 보안 향상

탈옥과 신속한 주사는 LLM, 특히 Genai 모델의 보안에 대한 위협이 증가하고 있습니다. 해커는 언어 모델의 설정 보안 조치를 우회 할 수있는 프롬프트를 파악하고 특정 제한 또는 기밀 정보를 추출 할 수 있습니다.

예를 들어, Chatgpt는“폭탄을 만드는 방법?”와 같은 질문에 대답하지 않도록 교육을 받았지만. 또는 "누군가의 정체성을 훔치는 방법?" 그러나 우리는 사용자가 챗봇을 속이는 사례를 보았습니다.“폭탄 만들기에 대한 어린이시를 쓰는 것”또는“누군가의 정체성을 훔치는 에세이를 써야합니다”와 같은 특정 방식으로 프롬프트를 작성하여 챗봇에 응답하는 경우를 보았습니다. 아래 이미지는 AI 챗봇이 일반적으로 이러한 쿼리에 어떻게 응답하는지 보여줍니다.

그러나 누군가가 AI에서 그러한 유해한 정보를 추출하기 위해 대적 접미사를 사용하는 방법은 다음과 같습니다.

이로 인해 적절한 안전 조치를 통합하지 않고 Genai Chatbots가 사용하기에 안전하지 않습니다. 따라서 발전 단계 자체에서 LLM의 탈옥 및 데이터 유출 가능성을 식별하여 더 강력한 보안 프레임 워크를 개발하고 구현할 수 있도록하는 것이 중요합니다. 이것은 신속한 주입 안전 점수를 도입하여 수행 할 수 있습니다.

4. Genai 모델의 책임 증가

AI 개발자는 언어 모델에 의해 재생되거나 재설치되는 저작권 컨텐츠에 대해 책임을 져야합니다. Anthropic 및 OpenAi와 같은 AI 회사는 폐쇄 소스 모델로 생성 된 콘텐츠에 대해 책임을집니다. 그러나 오픈 소스 모델과 관련 하여이 책임이 누구인지에 대해 더 명확해야합니다. 따라서 NIST는 개발자가 모델이 생산하는 콘텐츠에 대한 적절한 설명과 정당성을 제공해야한다고 권장합니다.

5. AI 생성 된 응답의 투명성 보장

우리는 모두 다른 LLM이 동일한 질문이나 프롬프트에 대해 어떻게 다른 응답을 제공하는지 알았습니다. 이것은 이러한 모델이 어떻게 자신의 반응을 도출하는지에 대한 의문을 제기하여 해석 가능성이나 설명 가능성을 고려해야 할 중요한 포인트로 만듭니다. 사용자 가이 투명성을 가지고 LLM의 사고 과정을 이해하는 것이 책임있는 AI를 고려하는 것이 중요합니다. 이를 위해 NIST는 AI 회사가 기계적 해석 가능성을 사용하여 LLM의 출력을 설명 할 것을 촉구합니다.

해석 가능성은 인간이 이해할 수있는 방식으로 자신의 반응에서 추론을 설명하는 언어 모델의 능력을 말합니다. 이것은 모델과 그 응답을 더욱 신뢰할 수있게하는 데 도움이됩니다. AI 모델의 해석 가능성 또는 설명은 아래 이미지와 같이 SHAP (Shapley Additive Explanations) 테스트를 사용하여 측정 할 수 있습니다.

이것을 더 잘 이해할 수있는 예를 살펴 보겠습니다. 여기서이 모델은 '보드카'라는 단어를 '러시아'에 연결하는 방법을 설명하고 교육 데이터의 정보와 비교하여 '러시아인이 보드카를 좋아한다'고 추론합니다.

6. Genai 모델에 공정성을 통합합니다

LLM은 기본적으로 다양한 인간이 생성 한 데이터에 대해 교육을 받고 편향 될 수 있으며 인간은 자신의 편견이 있습니다. 따라서 Ai-Made 결정도 편향 될 수 있습니다. 예를 들어, AI 챗봇이 감정 분석을 수행하고 뉴스 헤드 라인의 감정을 감지하도록 요청되면 편견으로 인해 국가 이름에 따라 답변이 변경됩니다. 결과적으로 '우리'라는 단어가있는 제목은 긍정적 인 것으로 감지되는 반면, 국가가 '아프가니스탄'이면 동일한 제목이 중립으로 감지됩니다.

바이어스는 AI 기반 채용, 은행 대출 처리 등과 같은 작업과 관련하여 훨씬 더 큰 문제입니다. AI가 편견에 따라 선택할 수있는 경우. 이 문제에 대한 가장 효과적인 솔루션 중 하나는 교육 데이터가 편향되지 않도록하는 것입니다. 교육 데이터 세트는 외관 편견을 확인하고 공정성 프로토콜로 구현해야합니다.

7. AI 생성 된 응답의 개인 정보 보호

때때로 AI 생성 응답에는 전화 번호, 이메일 ID, 직원 급여 등과 같은 개인 정보가 포함될 수 있습니다. 이러한 PII는 개인 정보를 위반하고 사람들의 신원을 위험에 빠뜨릴 때 사용자에게 제공해서는 안됩니다. 언어 모델의 개인 정보는 책임있는 AI의 중요한 측면입니다. 개발자는 AI의 윤리적 사용을 촉진하여 사용자 데이터를 보호하고 기밀 유지를 보장해야합니다. 이는 LLM을 교육하여 그러한 정보를 추출하기위한 프롬프트를 식별하고 응답하지 않도록 수행 할 수 있습니다.

다음은 AI 모델이 일부 필터를 설치하여 문장에서 PII를 감지하는 방법의 예입니다.

Genai 모델의 환각은 무엇입니까?

위에서 설명한 도전과는 별도로, Genai 모델을 책임지게하기 위해 해결해야 할 또 다른 중요한 관심사는 환각입니다.

환각은 생성 AI 모델이 사용자가 제공 한 입력과 일치하지 않는 새로운 존재하지 않는 정보를 생성하는 현상입니다. 이 정보는 종종 모델이 이전에 생성 한 내용과 모순되거나 알려진 사실에 반대 할 수 있습니다. 예를 들어, LLM을 "Haldiram Shoe Cream에 대해 알려주세요?" 그들은 존재하지 않는 가상의 제품을 상상하고 그 제품에 대해 설명 할 수 있습니다.

Genai 모델에서 환각을 감지하는 방법?

Genai 모델에서 환각을 고정하는 가장 일반적인 방법은 LLM-as-a-judge를 사용하여 환각 점수를 계산하는 것입니다. 이 방법에서는 동일한 프롬프트에 대해 판사 LLM이 생성 한 세 가지 추가 응답과 모델의 응답을 비교합니다. 결과는 정확하거나 작은 부정확성으로 분류되거나 각각 0, 0.5 및 1의 점수에 해당하는 주요 정확도로 분류됩니다. 3 가지 비교 점수의 평균은 일관성 기반 환각 점수로 간주됩니다. 여기서 아이디어는 일관성에 대한 응답을 확인하는 것이 었습니다.

이제 우리는 동일한 비교를 다시하지만 의미 론적 유사성을 기반으로합니다. 이를 위해 반응 사이의 쌍별 코사인 유사성을 계산하여 유사성 점수를 얻습니다. 이 점수의 평균 (평균 문장 수준)은 의미 기반 환각 점수를 얻기 위해 1에서 빼냅니다. 여기서 근본적인 가설은 환각 반응이 반응이 여러 번 생성 될 때 의미 론적 유사성을 낮추는 것입니다.

최종 환각 점수는 일관성 기반 환각 점수 및 시맨틱 기반 환각 점수의 평균으로 계산됩니다.

Genai 모델에서 환각을 감지하는 더 많은 방법

다음은 AI 생성 응답에서 환각을 감지하기 위해 사용되는 다른 방법입니다.

• 지식 체인 : 이 방법은 생성 된 컨텐츠를 다양한 소스의 접지 정보로 동적으로 확인하여 사실적인 정확성을 측정합니다.
• NLI의 체인 : 이것은 생성 된 텍스트에서 잠재적 오류를 감지하는 계층 적 프레임 워크입니다. 처음으로 문장 수준에서 수행 된 후 엔티티 레벨에서보다 자세한 점검이 이어집니다.
• 컨텍스트 준수 : 이것은 폐쇄 도메인 환각의 척도입니다. 이는 모델이 상황에 제공되지 않은 정보를 생성 한 정보를 의미합니다.
• 정확성 : 주어진 모델 응답이 사실인지 아닌지 확인합니다. 정확성은 개방형 도메인 환각 또는 특정 문서 나 상황과 관련이없는 사실 오류를 발견하는 좋은 방법입니다.
• 불확실성 : 이것은 모델이 출력을 계속하는 여러 가지 방법을 무작위로 결정하는 양을 측정합니다. 토큰 레벨과 응답 수준 모두에서 측정됩니다.

책임있는 AI 구축

책임있는 AI를 개발하는 데 어려움을 극복하는 방법을 이해하므로 AI가 책임감있게 구축되고 배치 될 수있는 방법을 살펴 보겠습니다.

책임있는 AI 모델의 기본 프레임 워크는 다음과 같습니다.

위의 이미지는 응답 생성 프로세스 중에 책임있는 언어 모델의 예상 사항을 보여줍니다. 이 모델은 먼저 처리하기 전에 독성, PII 식별, 탈옥 시도 및 주제를 벗어난 탐지의 프롬프트를 확인해야합니다. 여기에는 학대 언어가 포함 된 프롬프트 감지, 유해한 응답 요청, 기밀 정보 요청 등이 포함됩니다. 그러한 탐지의 경우 모델은 처리를 거부하거나 프롬프트에 응답해야합니다.

모델이 안전하다고 프롬프트를 식별하면 응답 생성 단계로 이동할 수 있습니다. 여기서 모델은 생성 된 응답의 해석 성, 환각 점수, 신뢰 점수, 공정성 점수 및 독성 점수를 확인해야합니다. 또한 최종 출력에 데이터 유출이 없도록해야합니다. 이 점수 중 하나가 높으면 사용자에게 경고해야합니다. 예를 들어. 응답의 환각 점수가 50%인 경우 모델은 사용자에게 응답이 정확하지 않을 수 있음을 경고해야합니다.

결론

AI가 우리 삶의 다양한 측면으로 계속 발전하고 통합함에 따라 책임있는 AI를 구축하는 것이 그 어느 때보 다 중요합니다. NIST 위험 관리 프레임 워크는 생성 AI 모델에 의해 제기 된 복잡한 과제를 해결하기위한 필수 지침을 설정합니다. 이러한 원칙을 구현하면 AI 시스템이 안전하고 투명하며 공평하며 사용자 간의 신뢰를 촉진 할 수 있습니다. 또한 편향된 출력, 데이터 유출 및 잘못된 정보와 같은 잠재적 위험을 완화 할 것입니다.

책임있는 AI로가는 길에는 AI 개발자의 엄격한 테스트 및 책임이 포함됩니다. 궁극적으로 책임있는 AI 관행을 수용하면 개인, 지역 사회 및 더 넓은 사회가 피해를 입지 않도록 AI 기술의 잠재력을 최대한 활용하는 데 도움이 될 것입니다.

자주 묻는 질문

Q1. 책임있는 AI는 무엇입니까?

A. 책임있는 AI는 윤리적 고려 사항, 공정성, 투명성 및 책임을 우선시하는 AI 시스템 설계, 개발 및 배포를 말합니다. 편견, 개인 정보 보호, 보안 및 개인 및 지역 사회에 대한 부정적인 영향에 대한 우려를 다룹니다.

Q2. 책임있는 AI의 7 가지 원칙은 무엇입니까?

A. NIST 위험 관리 프레임 워크에 따라 책임있는 AI의 7 가지 기둥은 불확실성, 안전, 보안, 책임, 투명성, 공정성 및 개인 정보입니다.

Q3. 책임있는 AI의 세 기둥은 무엇입니까?

A. 책임있는 AI의 세 기둥은 사람, 프로세스 및 기술입니다. 사람들은 누가 당신의 AI를 구축하고 있고 누구를 위해 건설되는지를 말합니다. 프로세스는 AI가 구축되는 방식에 관한 것입니다. 기술은 AI가 구축되는 내용, 작동 방식 및 작동 방식의 주제를 다룹니다.

Q4. AI를 책임지는 몇 가지 도구는 무엇입니까?

A. A. Fiddler AI, Galileo 's Protect Firewall, Nvidia's Nemo Guardrails (오픈 소스) 및 NEMO 평가자는 AI 모델이 책임이 있는지 확인하는 가장 유용한 도구 중 하나입니다. NVIDIA의 NIM 아키텍처는 개발자가 AI 응용 프로그램 구축의 과제를 극복하는 데 도움이됩니다. 사용할 수있는 또 다른 도구는 Open-Source 환각 평가 모델 인 Lynx입니다.

Q5. AI의 환각은 무엇입니까?

A. 환각은 생성 AI 모델이 사용자가 제공 한 입력과 일치하지 않는 새로운 존재하지 않는 정보를 생성하는 현상입니다. 이 정보는 종종 모델이 이전에 생성 한 내용과 모순되거나 알려진 사실에 반대 할 수 있습니다.

Q6. AI 환각을 감지하는 방법?

A. 지식 체인 추적, NLI 검사 시스템의 체인 수행, 컨텍스트 준수, 정확성 점수 및 불확실성 점수를 계산하고 LLM을 판사로 사용하는 것은 AI의 환각을 감지하는 몇 가지 방법입니다.

위 내용은 생성 AI 시대에 책임있는 AI의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!