더 우수하고 안전하며 OpenAI에 덜 의존하는 Microsoft의 새로운 AI 트렌드로 대규모 모델 보안 도구인 Azure AI 출시

Compiled丨Yifeng

Produced | 51CTO Technology Stack (WeChat ID: blog51cto)

제너레이티브 AI(generative AI)에 대한 수요가 늘어나고 LLM 보안 및 신뢰성에 대한 우려도 커지고 있습니다. 그 어느 때보다. 기업은 내부 및 외부 사용을 위해 개발된 대규모 언어 모델(LLM)이 미지의 영역을 벗어나지 않고 고품질 출력을 제공하기를 원합니다. 이러한 요구를 충족하려면 고려해야 할 몇 가지 주요 측면이 있습니다. 첫째, LLM 모델이 생성된 결과의 소스와 논리적 추론 과정을 투명하게 표시할 수 있도록 해석성이 향상되어야 합니다. 이를 통해 사용자는 출력 품질을 이해하고 신뢰성을 평가할 수 있습니다. 둘째, LLM 결과의 정확성과 정확성을 검증하고 감지하기 위해 더 많은 도구와 기술이 제공되어야 합니다. 이러한 도구는 사용자가

사용 시 이러한 우려를 인식하는 데 도움이 될 수 있습니다. Microsoft는 오랫동안 OpenAI를 사용하는 Microsoft 모델은 API를 호출할 수만 있고 블랙박스의 비밀에 대한 제어가 부족하다는 점을 인식해 왔습니다. Microsoft는 최근 대형 모델의 환각 문제를 해결하는 데 도움이 되는 새로운 Azure AI 도구의 출시를 발표했으며, Microsoft 자체와 마찬가지로 모델이 공격을 받아 개인 정보를 침해하거나 기타 유해한 콘텐츠를 생성하는 프롬프트 입력 공격과 같은 보안 취약성도 해결할 수 있다고 발표했습니다. AI 이미지 생성기는 Taylor Swift 딥페이크 이미지를 유사하게 생성합니다.

보안 도구는 앞으로 몇 달 내에 광범위하게 출시될 것으로 알려졌으며 구체적인 일정은 아직 공개되지 않았습니다.

1.Azure AI는 대규모 모델 보안을 위해 어떤 역할을 합니까?

LLM의 인기와 함께 신속한 주입 공격의 문제가 특히 두드러졌습니다. 기본적으로 공격자는 보안 제어를 포함하여 모델의 정상적인 작동을 우회하는 방식으로 모델의 입력 프롬프트를 변경하고 이를 조작하여 개인 또는 유해한 콘텐츠를 표시하여 보안이나 개인 정보를 침해할 수 있습니다. 이러한 공격은 공격자가 LLM과 직접 상호 작용하는 직접 공격과 악의적인 웹 페이지와 같은 타사 데이터 소스를 사용하는 간접 공격의 두 가지 방법으로 수행될 수 있습니다.

두 가지 형태의 프롬프트 삽입을 모두 해결하기 위해 Microsoft는 Azure AI에 Prompt Shields를 추가하고 있습니다. 이는 고급 기계 학습(ML) 알고리즘과 자연어 처리를 사용하여 프롬프트 및 타사 데이터를 자동으로 분석하여 악의적인 의도가 있는지 확인하고 모델에 도달하지 못하도록 방지하는 포괄적인 기능입니다.

Microsoft의 세 가지 관련 제품인 Azure OpenAI 서비스에 통합됩니다. (편집자 주: Azure OpenAI는 Microsoft에서 출시한 클라우드 기반 서비스 제품으로 OpenAI의 강력한 언어 모델에 대한 액세스를 제공합니다. Azure OpenAI의 핵심 이점 OpenAI의 고급 기술과 Microsoft Azure의 보안 및 엔터프라이즈 수준 약속, Azure AI 콘텐츠 보안 및 Azure AI Studio를 결합한다는 것입니다.

Microsoft는 보안과 안전을 위협하는 신속한 주입 공격을 막기 위한 노력 외에도 생성 AI 애플리케이션의 안정성에 초점을 맞춘 도구도 도입하고 있습니다. 여기에는 사전 구축된 Security Center 시스템 메시지 템플릿과 접지 감지라는 새로운 기능이 포함됩니다.

Microsoft가 설명했듯이 개발자는 Security Center 시스템 메시지 템플릿을 사용하여 모델 동작을 안전하고 책임감 있는 데이터 기반 출력으로 안내하는 시스템 메시지를 작성할 수 있습니다. 기본 감지는 미세 조정된 사용자 정의 언어 모델을 사용하여 모델에서 생성된 텍스트 출력에서 ​​아티팩트나 부정확한 자료를 감지합니다. 둘 다 Azure AI Studio 및 Azure OpenAI 제품에서 사용할 수 있습니다.

기본 지표 감지에는 생성 AI 애플리케이션의 위험 및 보안을 스트레스 테스트하기 위한 자동화된 평가도 수반된다는 점은 주목할 가치가 있습니다. 이러한 지표는 애플리케이션이 탈옥되어 부적절한 콘텐츠를 생성할 가능성을 측정합니다. 평가에는 개발자에게 문제 해결을 위한 적절한 완화 방법을 구축하는 방법을 안내하는 자연어 설명도 포함됩니다.

“오늘날 많은 조직에는 프로토타입에서 시장 채택까지 자신있게 이동할 수 있도록 생성 AI 애플리케이션을 스트레스 테스트할 리소스가 부족합니다. 첫째, 새로운 위험의 범위를 반영하는 고품질 테스트 데이터 세트를 구축하는 것입니다. 탈옥 공격과 같은 도전적인 방법으로 달성할 수 있는 고품질 데이터가 있더라도 평가는 복잡하고 수동적인 프로세스가 될 수 있으며 개발 팀은 효과적인 완화 방법을 알리기 위해 결과를 해석하는 것이 어려울 수 있습니다."라고 보안 최고 제품 책임자인 Sarah는 말했습니다. Microsoft의 AI는 블로그 게시물에 언급되었습니다.

2. Azure AI는 실시간으로 대규모 모델을 "모니터링"합니다.

Microsoft는 Azure AI를 실제로 사용하는 동안 개발자가 보안 기능(예: 프롬프트 쉴드로). Azure OpenAI 서비스 및 AI Studio 제품에 통합된 이 기능은 심각도/범주별 분석과 함께 차단된 사용자 입력/모델 출력의 수와 비율을 강조하는 자세한 시각화를 생성합니다.

이 시각적인 실시간 모니터링을 사용하여 개발자는 시간에 따른 유해한 요청 추세를 이해하고 콘텐츠 필터 구성, 제어 및 광범위한 애플리케이션 설계를 조정하여 보안을 강화할 수 있습니다.

Microsoft는 오랫동안 AI 제품을 개선하기 위해 노력해 왔습니다. 앞서 마이크로소프트 사티아 나델라 CEO는 인터뷰에서 마이크로소프트가 OpenAI에 전적으로 의존하는 것은 아니지만 자체 AI 프로젝트를 개발하고 OpenAI 제품 구축을 돕고 있다고 강조한 바 있다. 이것이 우리 각자의 운명을 좌우하는 데에도 도움이 된다고 생각한다”며 “

이는 'All in OpenAI'의 판도를 바꿨고, 마이크로소프트도 미스트랄을 비롯한 대형 모델을 사용하고 있다. 최근 마이크로소프트가 신설한 팀인 마이크로소프트 AI(Microsoft AI)가 활발히 움직이고 있으며, 인플렉션 AI(Inflection AI)에서 무스타파 술레이만(Mustafa Suleyman)과 그의 팀을 영입하기도 했다. 이는 Sam Altman과 OpenAI에 대한 의존도를 줄이는 방법인 것 같습니다.

이제 이러한 새로운 보안 및 안정성 도구의 추가는 회사가 이미 수행한 작업을 기반으로 구축되어 개발자가 AI 애플리케이션을 기반으로 생성 모델을 구축할 수 있는 더 좋고 안전한 방법을 제공합니다.

참조 링크: https://venturebeat.com/ai/microsoft-launches-new-azure-ai-tools-to-cut-out-llm-safety-and-reliability-risks/

위 내용은 더 우수하고 안전하며 OpenAI에 덜 의존하는 Microsoft의 새로운 AI 트렌드로 대규모 모델 보안 도구인 Azure AI 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!