안전 감독 요건 4가지 측면을 제시하는 세계 최초 'AI 시스템 보안 개발 지침'이 발표됐다.

2023년 11월 26일, 미국, 영국, 호주 등 18개국 사이버보안 규제 당국이 공동으로 인공지능 모델을 악의적인 변조로부터 보호하기 위한 'AI 시스템 보안 개발 지침'을 발표했습니다. AI 기업들이 AI 모델을 개발하거나 사용할 때 '설계에 의한 보안'에 더 많은 관심을 기울일 것을 촉구했습니다.

미국 사이버보안 및 인프라 보안국(CISA)은 주요 참가자 중 하나로 전 세계가 AI 기술의 급속한 발전에 있어 변곡점을 경험하고 있으며, AI 기술이 가장 큰 영향력을 미칠 가능성이 높다고 밝혔습니다. 오늘의 기술. 그러나 사이버 보안을 보장하는 것은 안전하고 안정적이며 신뢰할 수 있는 AI 시스템을 구축하는 데 핵심입니다. 이를 위해 우리는 여러 국가의 사이버 보안 규제 당국을 통합하고 Google, Amazon, OpenAI, Microsoft와 같은 기업의 기술 전문가와 협력하여 AI 기술 응용 프로그램의 보안 향상을 목표로 이 가이드라인을 공동으로 작성 및 게시했습니다

이 가이드라인은 공식 기관에서 발행한 AI 시스템 개발 안전을 위한 세계 최초의 가이드라인인 것으로 이해된다. 가이드라인은 AI 기업이 고객을 위한 안전한 결과 보장을 우선시하고, AI 애플리케이션의 투명성과 책임성 메커니즘을 적극적으로 옹호하며, 안전 설계를 최우선으로 하는 조직의 관리 구조를 구축해야 한다고 명시하고 있습니다. 이 지침은 AI의 사이버 보안을 개선하고 AI 기술의 안전한 설계, 개발 및 배포를 보장하는 것을 목표로 합니다.

또한, 미국 정부의 사이버 보안 위험 관리에 대한 오랜 경험을 바탕으로 지침에서는 모든 AI R&D 회사가 새로운 AI 도구를 공개하기 전에 충분한 테스트를 수행하여 사회적 피해를 최소화하기 위한 보안 조치가 취해졌는지 확인하도록 요구합니다(예: 편견과 차별) 및 개인 정보 보호 문제. 또한 가이드라인은 AI R&D 기업이 버그 바운티 시스템을 통해 AI 시스템의 취약점을 제3자가 발견하고 보고할 수 있도록 촉진하여 취약점을 신속하게 발견하고 복구할 수 있도록 하도록 요구하고 있습니다.

구체적으로, 이번에 발표된 가이드라인에서는 AI 시스템 4가지 주요 규제 요건:

1. '설계에 따른 안전'과 '기본에 의한 안전'을 우선시합니다.

AI 개발 회사는 가이드라인에서 '설계에 의한 안전'과 '기본에 의한 안전' 원칙을 반복적으로 강조해 왔습니다. 이는 AI 제품을 공격으로부터 보호하기 위한 조치를 적극적으로 취해야 함을 의미합니다. 가이드라인을 준수하기 위해 AI 개발자는 의사결정 과정에서 안전을 최우선으로 생각해야 하며 제품 기능과 성능에만 초점을 맞춰서는 안 됩니다. 또한 지침에서는 제품이 가장 안전한 기본 응용 프로그램 옵션을 제공하고 해당 기본 구성을 재정의할 때 발생할 수 있는 위험을 사용자에게 명확하게 전달할 것을 권장합니다. 또한 지침에서 요구하는 대로 AI 시스템 개발자는 보안 제어를 고객에게 의존하기보다는 다운스트림 애플리케이션 결과에 대한 책임을 져야 합니다.

요청에서 발췌: “사용자('최종 사용자' 또는 외부 AI를 통합하는 공급자 여부) 구성 요소)는 자신이 사용하는 AI 시스템과 관련된 위험을 완전히 이해, 평가 또는 해결하기에 충분한 가시성과 전문성이 부족한 경우가 많습니다. 따라서 '설계에 따른 보안' 원칙에 따라 AI 구성 요소 제공업체는 다음 사항에 대해 우려해야 합니다. 공급망 하류의 사용자 보안.”

2. 복잡한 공급망 보안에 세심한 주의를 기울이세요

AI 도구 개발자는 기본 모델과 같은 자체 제품을 설계할 때 타사 구성 요소에 의존하는 경우가 많습니다. 훈련 데이터 세트 및 API. 대규모 공급업체 네트워크는 AI 시스템에 더 큰 공격 표면을 가져오며, 그 안의 약한 링크는 제품 보안에 부정적인 영향을 미칠 수 있습니다. 따라서 지침에 따르면 개발자는 타사 구성 요소를 참조하기로 결정할 때 보안 위험을 완전히 평가해야 합니다. 제3자와 협력할 때 개발자는 공급업체의 보안 상태를 검토 및 모니터링하고, 공급업체가 자신의 조직과 동일한 보안 표준을 준수하도록 요구하고, 가져온 제3자 코드에 대한 검색 및 격리를 구현해야 합니다.

요청된 발췌: "타사 구성 요소가 보안 표준을 충족하지 않는 경우 미션 크리티컬 시스템 개발자는 대체 솔루션으로 전환할 준비를 해야 합니다. 기업은 NCSC의 공급망 지침 및 소프트웨어와 같은 리소스를 사용할 수 있습니다. SLSA(Artifact Supply Chain Level) 및 공급망 추적 및 소프트웨어 개발 라이프사이클 인증을 위한 기타 리소스”

3. AI 애플리케이션이 직면하는 고유한 위험을 고려하세요

AI 시스템이 적용될 때 몇 가지 고유한 위협이 있습니다(예: 신속한 주입 공격) 및 데이터 중독)으로 인해 개발자는 AI 시스템의 고유한 보안 요소를 충분히 고려해야 합니다. AI 시스템에 대한 "설계에 따른 보안" 접근 방식의 중요한 구성 요소는 민감한 데이터의 유출을 방지하고 파일 편집과 같은 작업에 사용되는 AI 구성 요소의 작동을 제한하기 위해 AI 모델 출력에 대한 안전 가드레일을 설정하는 것입니다. 개발자는 AI 관련 위협 시나리오를 출시 전 테스트에 통합하고 시스템을 악용하려는 악의적인 시도가 있는지 사용자 입력을 모니터링해야 합니다.

요청된 발췌: “'적대적 기계 학습'(AML)이라는 용어는 공격자가 기계 학습 기능을 악용할 수 있도록 하드웨어, 소프트웨어, 워크플로 및 공급망을 포함한 기계 학습 구성 요소의 보안 취약점을 악용하는 것을 설명하는 데 사용됩니다. 모델의 분류 또는 회귀 성능에 영향을 미치고, 사용자가 승인되지 않은 작업을 수행하도록 허용하고, 민감한 모델 정보를 추출하는 등 예기치 않은 동작이 시스템에서 발생합니다.”

4. AI 시스템 보안 개발은 지속적이고 협력적이어야 합니다

. 이 지침은 설계, 개발, 배포, 운영 및 유지 관리를 포함하여 AI 시스템의 전체 수명 주기 단계에 대한 모범 보안 사례를 설명하고 모델 동작 및 의심스러운 사용자 입력의 변화를 감지하기 위해 배포된 AI 시스템을 지속적으로 모니터링하는 것이 중요함을 강조합니다. "설계에 따른 보안" 원칙은 모든 소프트웨어 업데이트의 핵심 구성 요소이며 지침에서는 개발자가 기본적으로 자동 업데이트하도록 권장합니다. 마지막으로, 개발자는 대규모 AI 커뮤니티의 피드백과 정보 공유를 활용하여 시스템 보안을 지속적으로 개선하는 것이 좋습니다

요청 발췌: "필요한 경우 AI 시스템 개발자는 직면한 보안 문제를 더 큰 커뮤니티에 보고할 수 있습니다. 예를 들어, 일반적인 취약점에 대한 상세하고 완전한 열거를 포함하여 취약점 공개에 대응하여 공지를 게시해야 합니다. 보안 문제가 발견되면 개발자는 문제를 신속하고 적절하게 완화하고 수정하기 위한 조치를 취해야 합니다."

참조 링크:

필요 내용은 다음과 같습니다. 2023년 11월 미국, 영국 및 글로벌 파트너가 성명을 발표했습니다.

4 글로벌 인공지능 안전 지침의 핵심 사항

위 내용은 안전 감독 요건 4가지 측면을 제시하는 세계 최초 'AI 시스템 보안 개발 지침'이 발표됐다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!