기계 학습 모델을 훈련하는 데 사용되는 데이터의 보안을 어떻게 보장합니까?

사이버 범죄자가 기계 학습 모델 성능을 원격으로 조작하고 부정적인 영향을 미치는 것은 어렵지 않습니다.

악의적인 사용자는 기계 학습 훈련 데이터를 손상시키고, 훈련 데이터 세트에 있는 민감한 사용자 정보에 불법적으로 액세스하고, 유사한 다른 문제를 일으킬 수 있습니다.

지난 10년 동안 기계 학습과 인공 지능의 채택이 급증했습니다. 이러한 기술과 관련된 응용 분야는 얼굴 인식 및 일기 예보 응용 프로그램부터 정교한 추천 시스템 및 가상 비서에 이르기까지 다양합니다. 인공지능이 우리 삶에 점점 더 통합되면서 인공지능 시스템의 사이버 보안 문제도 대두되고 있습니다. 세계경제포럼(World Economic Forum)의 2022년 글로벌 위험 보고서에 따르면, 사이버 보안 실패는 향후 10년간 주목해야 할 10대 글로벌 위험 중 하나입니다.

사이버 보안과 AI는 언젠가는 필연적으로 교차하겠지만, AI의 힘을 활용하여 사이버 보안을 강화한다는 아이디어입니다. 사이버 보안이 존재하는 동안 기계 학습 모델의 무결성을 보호하려면 사이버 보안의 힘도 필요합니다. 이러한 모델에 대한 위협은 소스, 즉 모델 교육 데이터에서 비롯됩니다. 위험은 기계 학습 훈련 데이터가 해커에 의해 원격으로 또는 현장에서 조작될 수 있다는 것입니다. 사이버 범죄자는 훈련 데이터 세트를 조작하여 알고리즘 출력에 영향을 미치고 시스템 방어력을 저하시킵니다. 이 방법은 공격자가 알고리즘 사용자인 척 하기 때문에 추적이 불가능한 경우가 많습니다.

머신러닝을 위한 훈련 데이터를 어떻게 조작하나요?

머신 러닝 주기에는 업데이트된 정보와 사용자 통찰력을 사용한 지속적인 교육이 포함됩니다. 악의적인 사용자는 기계 학습 모델에 특정 입력을 제공하여 이 프로세스를 조작할 수 있습니다. 조작된 기록을 사용하여 은행 계좌 번호, 사회 보장 세부 정보, 인구 통계 정보 및 기계 학습 모델의 교육 데이터로 사용되는 기타 기밀 데이터와 같은 기밀 사용자 정보를 확인할 수 있었습니다.

해커가 기계 학습 알고리즘을 조작하기 위해 사용하는 몇 가지 일반적인 방법은 다음과 같습니다.

데이터 중독 공격

데이터 중독에는 기계 학습 모델에 사용되는 학습 데이터가 손상됩니다. 이 교육 데이터는 개발자, 개인 및 오픈 소스 데이터베이스와 같은 독립적인 당사자로부터 제공됩니다. 악의적인 당사자가 교육 데이터 세트에 정보를 제공하는 데 관여하는 경우 알고리즘이 이를 잘못 분류하도록 주의 깊게 구성된 "독성" 데이터가 제공됩니다.

예를 들어, 말을 인식하는 알고리즘을 훈련하는 경우 알고리즘은 말을 식별하기 위해 훈련 데이터세트에 있는 수천 개의 이미지를 처리합니다. 이 학습을 향상시키기 위해 흑백 소의 알고리즘 이미지도 제공합니다. 그러나 실수로 갈색 소의 이미지를 데이터 세트에 추가하면 모델은 이를 말로 분류합니다. 모델은 갈색 소와 갈색 말의 차이를 구별하도록 훈련될 때까지 차이를 이해하지 못합니다.

마찬가지로 공격자는 훈련 데이터를 조작하여 자신에게 유리한 모델 분류 시나리오를 가르칠 수 있습니다. 예를 들어, 악성 코드를 양성 소프트웨어로, 보안 소프트웨어를 독성 데이터를 사용하는 위험한 소프트웨어로 보도록 알고리즘을 훈련할 수 있습니다.

데이터가 오염되는 또 다른 방법은 기계 학습 모델에 대한 "백도어"를 이용하는 것입니다. 백도어는 모델 설계자에게는 알려지지 않았지만 공격자가 알고리즘을 조작하는 데 사용할 수 있는 입력 유형입니다. 해커가 AI 시스템에서 취약점을 발견하면 이를 악용하여 원하는 작업을 모델에 직접 가르칠 수 있습니다.

공격자가 백도어에 액세스하여 파일에 특정 문자가 있으면 양성으로 분류되어야 한다고 모델에 가르친다고 가정해 보겠습니다. 이제 공격자는 이러한 문자를 추가하여 모든 파일을 무해한 파일로 만들 수 있으며, 모델이 이러한 파일을 발견할 때마다 훈련된 대로 해당 파일을 무해한 파일로 분류합니다.

데이터 중독은 회원 추론 공격이라는 또 다른 공격과 결합되기도 합니다. MIA(Membership Inference Attack) 알고리즘을 사용하면 공격자는 특정 레코드가 교육 데이터 세트의 일부인지 여부를 평가할 수 있습니다. 데이터 중독과 결합된 멤버십 추론 공격은 훈련 데이터 내부의 정보를 부분적으로 재구성하는 데 사용될 수 있습니다. 기계 학습 모델은 일반화된 데이터에서도 잘 작동하지만 훈련 데이터에서도 잘 작동합니다. 멤버십 추론 공격 및 재구성 공격은 이 기능을 활용하여 훈련 데이터와 일치하는 입력을 제공하고 기계 학습 모델 출력을 사용하여 훈련 데이터에서 사용자 정보를 다시 생성합니다.

데이터 중독 사례를 감지하고 예방하는 방법은 무엇입니까?

모델은 정기적으로 새로운 데이터로 재교육되며, 이 재교육 기간 동안 독성 데이터가 교육 데이터 세트에 도입될 수 있습니다. 시간이 지남에 따라 발생하므로 이러한 활동을 추적하기가 어렵습니다. 모델 개발자와 엔지니어는 입력 유효성 테스트, 회귀 테스트, 속도 제한 및 기타 통계 기술을 통해 각 교육 주기 전에 이러한 입력을 차단하거나 감지할 수 있습니다. 또한 단일 사용자의 입력 수를 제한하고, 유사한 IP 주소 또는 계정의 입력이 여러 개 있는지 확인하고, 골든 데이터 세트에 대해 재교육된 모델을 테스트할 수 있습니다. 골든 데이터 세트는 기계 학습 기반 교육 데이터 세트에 대한 검증되고 신뢰할 수 있는 참조 포인트입니다.

해커는 백도어 공격을 수행하기 위해 기계 학습 모델이 어떻게 작동하는지에 대한 정보가 필요합니다. 따라서 강력한 접근 통제를 구현하고 정보 유출을 방지하여 이러한 정보를 보호하는 것이 중요합니다. 권한 제한, 데이터 버전 관리, 코드 변경 로깅과 같은 일반적인 보안 관행은 모델 보안을 강화하고 중독 공격으로부터 기계 학습 훈련 데이터를 보호합니다.

침투 테스트를 통해 방어 구축

기업은 네트워크에 대한 정기적인 침투 테스트를 수행할 때 기계 학습 및 인공 지능 시스템 테스트를 고려해야 합니다. 침투 테스트는 잠재적인 공격을 시뮬레이션하여 보안 시스템의 취약점을 식별합니다. 모델 개발자는 마찬가지로 알고리즘에 대해 시뮬레이션된 공격을 실행하여 데이터 중독 공격에 대한 방어책을 구축할 수 있는 방법을 확인할 수 있습니다. 데이터 중독 취약성에 대해 모델을 테스트할 때 추가될 수 있는 데이터 포인트에 대해 알아보고 그러한 데이터 포인트를 삭제하는 메커니즘을 구축할 수 있습니다.

사소해 보이는 양의 잘못된 데이터라도 기계 학습 모델을 비효율적으로 만들 수 있습니다. 해커들은 이러한 약점을 악용하고 기업 데이터 시스템을 손상시키는 데 적응해 왔습니다. 기업이 인공 지능에 점점 더 의존함에 따라 기계 학습 교육 데이터의 보안과 개인 정보를 보호해야 하며 그렇지 않으면 고객 신뢰를 잃을 위험이 있습니다.

위 내용은 기계 학습 모델을 훈련하는 데 사용되는 데이터의 보안을 어떻게 보장합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!