AI로 AI를 공격한다? 적대적 기계 학습의 위협과 방어

점점 더 많은 기업 조직에서 인공 지능(Artificial Intelligence, 약어로 AI) 및 기계 학습(Machine Learning, 약어로 ML) 프로젝트를 적용하기 시작했으며 이러한 프로젝트를 보호하는 것이 점점 더 중요해지고 있습니다. IBM과 Morning Consult가 공동으로 실시한 설문 조사에 따르면 조사 대상인 7,500개 이상의 다국적 기업 중 35%가 이미 AI를 사용하고 있으며 이는 지난해보다 13% 증가한 수치이며, 또 다른 42%는 타당성을 연구하고 있는 것으로 나타났습니다. 그러나 약 20%의 기업이 AI 시스템에서 데이터를 보호하는 데 어려움을 겪고 있으며 이로 인해 AI 도입 속도가 느려지고 있습니다.

AI 및 ML 시스템을 보호하는 것은 상당한 과제에 직면해 있으며, 그 중 일부는 AI 기술 자체로 인해 발생하지 않습니다. 예를 들어 AI와 ML 시스템에는 데이터가 필요하며, 데이터에 민감한 정보나 개인 정보가 포함되어 있으면 공격자의 표적이 됩니다. 머신러닝 모델은 사이버 공간 환경에서 잠재적인 적대적 공격 위험에 노출되어 있으며, 방어 시스템의 가장 약한 고리가 되어 시스템 전체의 보안을 위협할 수 있습니다.

적대적 머신러닝이란 무엇입니까

적대적 머신러닝은 머신러닝의 일종이 아니고, 공격자가 ML 시스템을 공격하기 위해 사용하는 일련의 수단입니다. 적대적 머신러닝은 ML 모델의 취약점과 특성을 활용하여 공격을 수행합니다. 예를 들어, 적대적 기계 학습을 사용하면 ML 거래 알고리즘이 잘못된 거래 결정을 내리고, 사기 행위를 감지하기 어렵게 만들고, 잘못된 운영 권장 사항을 제공하고, 감정 분석을 기반으로 보고서를 조작할 수 있습니다.

적대적 기계 학습 공격은 중독 공격, 회피 공격, 추출 공격, 추론 공격의 네 가지 방법으로 나뉩니다.

1.중독 공격

중독 공격에서는 공격자가 훈련 데이터 세트를 조작합니다. 예를 들어 의도적으로 데이터 세트를 편향하면 기계가 잘못된 방식으로 학습하게 됩니다. 예를 들어 집에는 AI 기반 보안 카메라가 설치되어 있습니다. 공격자는 매일 오전 3시에 당신의 집 근처를 지나가다가 그의 개가 잔디밭을 가로질러 달리게 하여 보안 시스템을 작동시킬 수 있습니다. 결국, 개 때문에 깨어나는 것을 피하기 위해 오전 3시에 울리는 알람을 끄게 됩니다. 그 개 산책자는 실제로 매일 오전 3시에 일어나는 일이 무해하다는 것을 보안 시스템에 알리기 위해 훈련 데이터를 제공하고 있습니다. 시스템이 오전 3시에 일어나는 모든 일을 무시하도록 훈련되면 공격자는 공격을 시작할 기회를 이용합니다.

2. 회피 공격

회피 공격에서는 모델이 훈련되었지만 공격자가 입력을 약간 변경하여 공격을 수행할 수 있습니다. 한 가지 예는 정지 신호입니다. 공격자가 양보 태그를 적용하면 시스템은 이를 정지 신호가 아닌 양보 신호로 해석합니다. 위의 개 산책 예에서 강도는 개 옷을 입고 집에 침입할 수 있습니다. 공격을 피하는 것은 기계의 착시 현상과 같습니다.

3. 추출 공격

추출 공격에서 공격자는 AI 시스템의 복사본을 획득합니다. 때로는 단순히 입력과 출력을 관찰하여 모델을 추출하고 모델을 가지고 놀면서 모델이 어떻게 반응하는지 확인할 수 있습니다. 모델을 여러 번 테스트할 수 있다면 모델이 동일한 방식으로 작동하도록 가르칠 수 있습니다.

예를 들어 2019년에는 Proofpoint의 이메일 보호 시스템에서 취약점이 노출되었으며, 생성된 이메일 헤더에 해당 이메일이 스팸일 가능성을 나타내는 점수가 첨부되었습니다. 공격자는 이러한 점수를 사용하여 모방 스팸 탐지 엔진을 구축하여 탐지를 회피하는 스팸을 생성할 수 있습니다.

회사가 상용 AI 제품을 사용하는 경우 공격자는 서비스를 구매하거나 사용하여 모델의 복사본을 얻을 수도 있습니다. 예를 들어 공격자가 바이러스 백신 엔진에 대해 악성 코드를 테스트하는 데 사용할 수 있는 플랫폼이 있습니다. 위의 개 산책 예에서 공격자는 쌍안경을 가져와 어떤 브랜드의 보안 카메라인지 확인한 다음 동일한 브랜드의 카메라를 구입하고 방어를 우회하는 방법을 알아낼 수 있습니다.

4. 추론 공격

추론 공격에서는 공격자가 시스템을 훈련하는 데 사용되는 데이터 세트를 파악한 다음 데이터의 취약점이나 편차를 이용하여 공격을 수행합니다. 훈련 데이터를 알아낼 수 있다면 상식이나 영리한 트릭을 사용하여 이를 활용할 수 있습니다. 여전히 개 산책의 예를 사용하여 공격자는 근처 행인과 차량에 대한 느낌을 얻기 위해 집을 모니터링할 수 있습니다. 매일 오전 3시에 공격자가 산책하는 사람을 발견하면 보안 시스템은 산책하는 사람을 무시하며, 이 취약점을 악용해 공격을 가할 수 있다.

미래에는 공격자가 지능형 기계 학습 기술을 사용하여 일반 기계 학습 애플리케이션을 공격할 수도 있습니다. 예를 들어, 새로운 유형의 AI 생성 대결 시스템이 있습니다. 이러한 시스템은 너무 사실적이어서 실제처럼 보이는 사진이나 비디오인 딥페이크 콘텐츠를 만드는 데 종종 사용됩니다. 공격자들은 온라인 사기에 이를 자주 사용하지만, 탐지할 수 없는 악성 코드를 생성하는 데에도 동일한 원칙이 사용될 수 있습니다.

생성적 적대 네트워크에서는 한쪽을 판별자, 다른 쪽을 생성자라고 하며 서로 공격합니다. 예를 들어 바이러스 백신 AI는 개체가 맬웨어인지 여부를 파악하려고 시도할 수 있습니다. 악성 코드를 생성하는 AI는 첫 번째 시스템이 포착할 수 없는 악성 코드를 생성하려고 시도할 수 있습니다. 두 시스템 간의 반복적인 대결을 통해 최종 결과는 탐지가 거의 불가능한 악성 코드가 될 수 있습니다.

적대적 기계 학습을 방어하는 방법

사이버 공간에서의 광범위한 대립으로 인해 머신러닝 적용은 심각한 문제에 직면하게 되었습니다. 적대적 머신러닝 공격의 위협을 방어하기 위해 보안 연구자들은 실제 애플리케이션에서 머신러닝 알고리즘의 성능을 향상시키기 위해 적대적 머신러닝에 대한 보안 연구를 시작했습니다. 견고성은 기계 학습 관련 알고리즘의 애플리케이션 보안을 보장합니다.

조사 회사인 Gartner는 기업에 보호해야 할 AI 및 ML 시스템이 있는 경우 표적 보안 조치를 취해야 한다고 권장합니다. 첫째, AI 모델의 무결성을 보호하기 위해 기업은 신뢰할 수 있는 AI 원칙을 채택하고 모델에 대한 검증 검사를 수행해야 합니다. 둘째, AI 훈련 데이터의 무결성을 보호하기 위해 데이터 중독 탐지 기술을 추가로 사용해야 합니다. , 많은 전통적인 보안 조치는 AI 시스템 보호에도 적용될 수 있습니다. 예를 들어, 데이터가 액세스되거나 파괴되지 않도록 보호하는 솔루션은 교육 데이터 세트가 변조되지 않도록 보호할 수도 있습니다.

MITRE는 표준화된 ATT&CK 적대 전략 및 기술 프레임워크로 유명합니다. 또한 현재 인공 지능 시스템을 위한 적대적 위협 환경으로 알려진 AI 시스템용 공격 프레임워크 세트를 만들었습니다. ATLAS)에서는 ML 시스템 공격의 12단계를 다루고 있습니다.

또한 일부 제조업체에서는 사용자가 AI 시스템을 보호하고 적대적인 기계 학습을 방어하는 데 도움이 되는 보안 도구를 출시하기 시작했습니다. Microsoft는 2021년 5월 AI 시스템의 보안 테스트를 위한 오픈 소스 자동화 도구인 Counterfit을 출시했습니다. Counterfit은 원래 단일 AI 모델용으로 특별히 작성된 공격 스크립트 라이브러리였으며 나중에 여러 AI 시스템에 대한 대규모 공격을 위한 일반 자동화 도구가 되었습니다. 이 도구는 MITRE의 ATLAS 공격 프레임워크에서 기술을 자동화하는 데 사용될 수 있지만, AI 개발 단계에서 취약점이 프로덕션에 적용되기 전에 조기에 발견하는 데에도 사용할 수 있습니다.

IBM에는 현재 Linux Foundation의 프로젝트인 Adversarial Robustness Toolbox라는 오픈 소스 적대적 기계 학습 방어 도구도 있습니다. 이 프로젝트는 널리 사용되는 모든 ML 프레임워크를 지원하며 회피, 중독, 추출 및 추론의 네 가지 범주로 분류된 39개의 공격 모듈을 포함합니다.

사이버 공간 방어에서 기계 학습이 겪을 수 있는 공격을 고려하여 기업은 특정 위협 시나리오에서 보안 속성을 과학적으로 평가할 목적으로 가능한 한 빨리 기계 학습 공격자 모델을 도입해야 합니다. 동시에 조직은 적대적인 기계 학습 알고리즘이 테스트 단계에서 회피 공격을 시작하고 훈련 단계에서 중독 공격을 시작하며 전체 기계 학습 단계에서 개인 정보 도용을 실행하는 일반적인 방법을 완전히 이해하고 이를 설계 및 배포해야 합니다. 머신러닝 모델의 보안을 효과적으로 강화하는 방어 방법입니다.

참조 링크:

https://www.csoonline.com/article/3664748/adversarial-machine-learning-explained-how-attackers-disrupt-ai-and-ml-systems.html

위 내용은 AI로 AI를 공격한다? 적대적 기계 학습의 위협과 방어의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!