ChatGPT의 인기가 가져온 AI 네트워크 보안에 대한 생각

1. 인공지능 개발 트랙

1956년 다머스 대학 하계 학술 세미나에서 존 매카시(John McCarthy)가 인공지능(Aritificial Intelligene)이라는 개념을 처음 제안하기 이전에도 인간은 이미 과중하고 반복적인 노동을 기계로 대체하고 있었습니다. 길에서.

1882년 2월, 니콜라 테슬라는 5년 동안 고민했던 교류발전기 아이디어를 완성하고 “이제부터 인간은 더 이상 무거운 육체노동의 노예가 되지 않고 나의 기계가 우리를 해방시킬 것이다”라고 황홀하게 외쳤습니다. , 온 세상이 이렇게 될 것입니다.”

1936년 수학에서 결정 불가능한 명제의 존재를 증명하기 위해 앨런 튜링은 "튜링 기계"라는 아이디어를 제안했습니다. 1948년 그는 "INTELLIGENT MACHINERY"라는 논문에서 연결주의 내용의 대부분을 설명했습니다. 1950년에 "컴퓨팅 기계와 지능"을 출판하고 유명한 "튜링 테스트"를 제안했습니다. 같은 해에 마빈 민스키(Marvin Minsky)와 그의 동급생 던 에드먼드(Dunn Edmund)는 세계 최초의 신경망 컴퓨터를 만들었습니다.

1955년, 폰 노이만은 예일 대학교에서 실리만 강의 초대를 수락했습니다. 강의 내용은 나중에 "THE COMPUTER AND THE BRAIN"이라는 책으로 정리되었습니다.

인공지능은 1956년 제안된 이후 현재까지 세 번의 발전 클라이막스를 경험했습니다.

첫 번째 개발 절정: 1956년부터 1980년까지 전문가 시스템과 고전적인 기계 학습으로 대표되는 상징주의(Symbolism)가 지배적인 위치를 차지했습니다. 1세대 인공지능이라고도 알려진 상징주의는 추론, 계획, 의사결정 등 인간의 합리적 지능 행동을 시뮬레이션하기 위해 지식과 경험을 기반으로 한 추론 모델을 제안합니다. 따라서 인간의 추론과 사고 행동을 시뮬레이션하기 위해 지식 기반과 추론 메커니즘이 기계에 구축됩니다.

상징주의의 가장 대표적인 성과는 1997년 5월 IBM 체스 프로그램 Deep Blue가 세계 챔피언 Kasparov를 물리친 것입니다. 성공의 요소는 세 가지입니다. 첫 번째 요소는 인간 마스터가 플레이한 70만 게임을 분석한 경험입니다. 체스 게임과 5~6개의 최종 게임이 모두 체스 규칙으로 요약됩니다.

그런 다음 마스터와 기계 간의 게임을 통해 평가 기능의 매개변수를 디버그하고 마스터의 경험을 완전히 흡수합니다. 두 번째 요소는 알고리즘입니다. Deep Blue는 매우 빠른 알파 베타 가지치기 알고리즘을 사용합니다. 세 번째 요소는 컴퓨팅 성능입니다. IBM은 당시 초당 2억 단계를 분석하고 초당 평균 8~12단계 앞으로 나아갈 수 있는 RS/6000SP2 시스템을 사용했습니다.

상징주의의 장점은 인간의 추론과 사고 과정을 모방할 수 있고, 인간의 사고 과정과 일치하며, 하나의 예에서 추론을 이끌어 낼 수 있으므로 해석이 가능하다는 것입니다. 그러나 상징주의 역시 매우 심각한 단점을 갖고 있다. 첫째, 전문 지식이 매우 부족하고 비용이 많이 든다. 둘째, 전문 지식을 수동 프로그래밍을 통해 기계에 입력해야 하는데, 이는 시간과 노동 집약적이다. 한의학 전문가가 맥박을 짚는 등 표현하기 어려운 지식의 경우 이러한 경험은 표현하기 어렵기 때문에 상징의 적용 범위가 매우 제한적이다.

두 번째 발전 정점: 1980~1993년, 상징주의와 연결주의로 대표됨

세 번째 발전 정점: 1993~1996년, 딥 러닝이 컴퓨팅 능력과 데이터의 도움으로 큰 성공을 거두었고, 연결주의가 뜨거워졌습니다. 학습은 심층 신경망 모델을 통해 시각, 청각, 촉각 등과 같은 인간의 인식을 시뮬레이션합니다. 딥러닝에는 두 가지 장점이 있습니다. 첫 번째 장점은 도메인 전문 지식이 필요하지 않으며 기술적 한계가 낮다는 것입니다. 두 번째 장점은 업그레이드된 네트워크의 규모가 클수록 처리할 수 있는 데이터가 더 크다는 것입니다.

딥러닝의 가장 대표적인 예 중 하나가 바둑(Go) 프로그램입니다. 2015년 10월 이전에는 상징주의, 즉 지식 중심의 방법을 활용해 만든 바둑 프로그램이 아마추어 5단의 최고 수준에 이를 수 있었다. 2015년 10월에는 바둑 프로그램이 유럽 챔피언을 이겼고, 2016년 3월에는 세계 챔피언을 이겼습니다. 2017년 10월 알파고는 딥러닝을 사용해 바둑 프로그램 수준에서 아마추어 수준에서 프로 수준, 프로 수준에서 세계 챔피언으로, 세계 챔피언에서 세계 챔피언으로 3단 도약을 달성했습니다. 챔피언.

AlphaGo는 2년 만에 세 배의 도약을 달성했습니다. 그 성공은 주로 빅데이터, 알고리즘, 컴퓨팅 성능이라는 세 가지 측면에서 비롯되었습니다. 알파고는 기존 체스 게임 3천만 개를 학습했고, 자체적으로 3천만 게임을 플레이해 총 6천만 개의 체스 게임을 진행했으며, 총 1202개의 CPU와 280개를 사용해 몬테카를로 트리 탐색, 강화학습, 딥러닝 등의 알고리즘을 사용했다. 계산할 GPU입니다.

딥러닝에는 해석이 불가능하고, 안전하지 않으며, 일반화가 쉽지 않고, 샘플 수가 많이 필요한 등 큰 한계가 있습니다. 예를 들어, 인간의 얼굴 사진은 약간의 수정 후에는 개로 인식될 수 있습니다. 왜 이런 일이 일어나는지는 인간의 이해를 넘어서는 것입니다.

2016년 강화학습으로 대표되는 행동주의(Actionism)는 알파제로 등장 이후 큰 주목을 받으며, 일반 인공지능으로 가는 유일한 길로 호평을 받았습니다.

논리적 추론으로 대표되는 상징주의는 지식으로 지능을 주도하고, 딥 러닝으로 대표되는 연결주의는 데이터로 지능을 주도합니다. 둘 다 큰 결함이 있고 적용 범위가 제한되어 있습니다.

강화학습으로 표현되는 행동주의는 지식, 데이터, 알고리즘, 컴퓨팅 파워의 4가지 요소를 종합적으로 활용하여 인간 두뇌의 피드백, 측면 연결, 희소 방출, 주의 메커니즘, 다중 양식 및 기억과 같은 메커니즘을 도입하고 1~2세대 인공지능의 단점을 극복하고 활용 범위가 확대될 것으로 기대된다.

2. 인간 두뇌 작업의 여러 메커니즘

[예측 및 피드백 메커니즘]

뇌는 일상 생활의 특정 기간을 통해 세계를 관찰하고 기억 모델을 구축하며, 뇌는 자동으로 이전 기억 모델을 비교하여 무엇을 예측합니다. 다음에 일어날 것입니다. 예측과 일치하지 않는 상황을 감지하면 뇌에서 피드백이 발생합니다.

뇌 세포는 마법의 촉수, 즉 수상돌기와 축삭을 가지고 있기 때문에 정보를 전송할 수 있습니다. 짧은 수상돌기를 통해 뇌세포는 다른 뇌세포로부터 정보를 받을 수 있고, 긴 축색돌기를 통해 뇌세포는 다른 뇌세포에 정보를 전달할 수 있습니다(아래 그림 참조).

정보는 뇌세포 사이에서 지속적으로 전달되어 인간의 감정과 생각을 형성합니다. 뇌 전체는 아래 그림과 같이 서로 연결된 뇌세포들의 거대한 네트워크입니다.

머신러닝 분야에서는 이러한 인공 신경망을 얻기 위해서는 우선, 신경망은 정의되어야 합니다. 네트워크의 구조, 네트워크에 얼마나 많은 뉴런이 있는지, 뉴런이 어떻게 연결되어 있는지. 다음으로 오류 함수를 정의해야 합니다. 오류 함수는 네트워크가 현재 얼마나 잘 수행되고 있는지, 그리고 오류를 줄이기 위해 네트워크의 뉴런 연결을 어떻게 조정해야 하는지를 평가하는 데 사용됩니다. 시냅스 강도는 신경 활동을 결정하고, 신경 활동은 네트워크 출력을 결정하며, 네트워크 출력은 네트워크 오류를 결정합니다.

현재 "역전파"는 기계 학습 분야에서 가장 일반적으로 사용되고 성공적인 심층 신경망 훈련 알고리즘입니다. 역전파로 훈련된 네트워크는 최근 머신러닝 물결에서 주요 위치를 차지하며 음성 및 이미지 인식, 언어 번역 등에서 좋은 결과를 얻습니다.

또한 이미지 및 음성 생성, 언어 모델링 및 일부 고차원 예측 작업에 필수적인 비지도 학습의 진행을 촉진합니다. 강화 학습과 협력하여 역전파는 Atari 게임을 마스터하고 바둑과 포커에서 최고의 인간 플레이어를 물리치는 것과 같은 많은 제어 문제(제어 문제)를 완료할 수 있습니다.

역전파 알고리즘은 오류 신호를 피드백 연결로 보내 신경망이 시냅스 강도를 조정하도록 돕습니다. 이는 지도 학습 분야에서 매우 일반적으로 사용됩니다. 그러나 뇌의 피드백 연결은 서로 다른 기능을 갖고 있는 것으로 보이며 뇌 학습의 대부분은 감독되지 않습니다. 그렇다면 역전파 알고리즘이 뇌의 피드백 메커니즘을 설명할 수 있을까요? 현재로서는 확실한 답변이 없습니다.

【뇌내 연결】

인간 뇌의 뉴런 사이의 특별한 연결 방법은 인간 뇌의 독특성을 연구하는 데 중요한 방향입니다. 자기공명영상(MRI)은 이 연구의 핵심 도구입니다. 이 기술은 두개골을 열지 않고도 뉴런에서 뻗어 나와 다양한 뇌 영역을 연결하는 긴 섬유를 시각화할 수 있습니다. 이러한 연결은 뉴런 사이에 전기 신호를 전달하는 전선처럼 작동합니다. 이러한 연결을 모두 커넥톰이라고 하며 뇌가 정보를 처리하는 방법에 대한 단서를 제공합니다.

각 신경세포가 다른 모든 신경세포와 연결되어 있다고 가정할 때, 이 일대다 연결 그룹이 가장 효율적입니다. 그러나 이 모델은 모든 연결을 수용하고 정상적인 작동을 유지하기 위해 많은 공간과 에너지가 필요하므로 결코 실현 가능하지 않습니다. 또 다른 모드는 각 뉴런이 다른 하나의 뉴런에만 연결되는 일대일 연결입니다. 이런 종류의 연결은 덜 어렵지만 효율성도 떨어집니다. 정보가 A 지점에서 B 지점으로 이동하려면 디딤돌과 같은 수많은 신경 세포를 통과해야 합니다.

Nature Neuroscience에 123종의 포유류 종의 코넥텀에 대한 설문 조사를 발표한 텔아비브 대학교의 Yaniv Assaf는 "실제 삶은 그 사이 어딘가에 있습니다"라고 말합니다. 연구팀은 한 위치에서 다른 위치로 정보를 전달하는 데 필요한 디딤돌의 수가 다른 종의 뇌에서 대략 동일하며 사용되는 연결도 유사하다는 사실을 발견했습니다. 그러나 뇌의 연결 레이아웃이 종에 따라 실현되는 방식에는 차이가 있습니다. 두 반구 사이에 장거리 연결이 거의 없는 종에서는 각 반구의 연결이 더 짧은 경향이 있으며 반구 내의 인접한 뇌 영역은 자주 통신합니다.

【기억】

인간의 뇌에는 수십억 개의 신경 세포가 시냅스를 통해 상호 작용하여 매우 복잡한 상호 연결을 형성합니다. 기억은 뇌 신경 세포 사이의 상호 호출입니다. 상호 호출 중 일부는 수명이 짧고 일부는 오래 지속되며 일부는 그 사이에 있습니다.

뇌 뉴런 사이의 상호 작용에는 네 가지 기본 형태가 있습니다.

• 단순 자극: 하나의 뉴런이 자극되면 연결된 다른 뉴런도 자극됩니다.
• 단순 억제: 한 뉴런의 자극은 연결된 다른 뉴런의 감각 역치를 증가시킵니다.
• 긍정적 피드백: 한 뉴런의 흥분은 연결된 다른 뉴런의 흥분을 자극하여 전자의 흥분 임계값을 직간접적으로 낮추거나 전자의 감각 시냅스에 신호를 피드백합니다.
• 부정적 피드백: 한 뉴런의 흥분은 연결된 다른 뉴런의 흥분을 자극하며, 이는 다시 전자의 흥분 역치를 직간접적으로 증가시켜 전자의 흥분성을 감소시킵니다.

인간의 뇌에는 다양한 활동을 하는 다양한 유형의 뉴런 세포가 있으며 각각 단기, 중기, 장기 기억을 담당합니다.

활성 뉴런 세포는 단기 기억을 담당하며 그 수가 적고 사람의 단기 반응 능력을 결정합니다. 이러한 유형의 세포가 신경 신호에 의해 자극을 받으면 감지 역치가 일시적으로 감소하지만 시냅스는 일반적으로 증식하지 않으며 감지 역치의 감소는 몇 초에서 몇 분 동안만 지속되다가 정상 수준으로 돌아옵니다.

중립 뉴런 세포는 사람의 학습 적응성을 결정하는 중간 숫자로 중기 기억을 담당합니다. 이런 종류의 세포가 적절한 양의 신경 신호에 의해 자극되면 시냅스 증식이 일어나게 됩니다. 그러나 이러한 시냅스 증식은 느리고 중요한 변화를 형성하기 위해서는 여러 번의 자극이 필요하며 증식 상태는 며칠에서 몇 주 동안만 지속될 수 있습니다. 저하에.

게으른 뉴런 세포는 장기 기억을 담당합니다. 세포의 수가 많을수록 사람의 지식 축적 능력이 결정됩니다. 이러한 유형의 세포는 다수의 반복적인 신경 신호에 의해 자극을 받을 때만 시냅스 증식을 겪게 됩니다. 이러한 시냅스 증식은 매우 느리고 중요한 변화를 형성하기 위해 많은 반복 자극이 필요하지만 증식 상태는 수개월에서 수십 년 동안 유지될 수 있습니다. , 저하되기 쉽지 않습니다.

뇌 뉴런 세포가 자극되고 흥분되면 시냅스가 증가하거나 유도 역치가 감소합니다. 자주 자극되고 반복적으로 흥분되는 뇌 뉴런 세포는 다른 세포보다 덜 자극을 받습니다. 전송 및 신호 수신 기능.

시냅스적으로 인접한 두 개의 신경세포가 동시에 자극을 받아 동시에 흥분되면 두 신경세포의 시냅스가 동시에 증식하여 인접한 시냅스 쌍의 상호작용이 일어나게 됩니다. 이 동기화된 자극이 여러 번 반복되면 두 뉴런 세포의 인접한 시냅스 쌍 사이의 상호 작용이 특정 강도(특정 임계값에 도달하거나 초과)에 도달하고 그 사이에 자극 전파 현상이 발생합니다. 즉, 뉴런 세포 중 어느 하나가 자극되고 흥분되면 다른 뉴런 세포도 흥분하게 되어 뉴런 세포 사이에 상호 반향 연결, 즉 기억 연결이 형성됩니다.

그래서 기억이란 뉴런 세포 사이의 연결의 매끄러움에 의해 결정되는 회상 가능성, 즉 뉴런 세포 사이의 연결 강도가 유도 역치보다 커서 뇌인 뉴런 세포 사이의 명시적인 연결을 형성하는 것을 말합니다. 기억의 본질.

【주의 메커니즘】

인간의 뇌가 읽을 때는 엄격한 해독 과정이 아니라 패턴 인식 과정에 가깝습니다. 가능성이 낮고 가치가 낮은 정보는 뇌가 자동으로 무시하고, 맥락 정보를 바탕으로 읽은 내용을 '뇌가 옳다고 생각하는 버전'으로 자동 수정하는 것이 이른바 인간의 뇌 주의력이다.

"Attention Mechanism"은 머신러닝에서 인간의 두뇌 주의력을 시뮬레이션하는 데이터 처리 방법으로, 자연어 처리, 이미지 인식, 음성 인식 등 다양한 유형의 머신러닝 작업에 널리 사용됩니다. 예를 들어 기계 번역에서는 "LSTM+attention" 모델을 사용하는 경우가 많습니다. LSTM(Long Short Term Memory)은 RNN(Recurrent Neural Network)의 응용 프로그램입니다. 각 뉴런에는 입력 게이트, 출력 게이트, 망각 게이트가 있다는 것을 간단히 이해하면 됩니다. 입력 게이트와 출력 게이트는 LSTM 뉴런을 끝에서 끝까지 연결하는 반면 망각 게이트는 의미 없는 내용을 약화시키거나 잊어버립니다. "주의 메커니즘"은 LSTM의 망각 게이트에 적용되어 기계 읽기를 인간의 읽기 습관에 더 가깝게 만들고 번역 결과를 상황에 맞게 만듭니다.

【다중 모드 뉴런】

15년 전 Quiroga와 다른 사람들은 인간의 뇌에 다중 모드 뉴런이 있다는 것을 발견했습니다. 이러한 뉴런은 특정 시각적 특징보다는 높은 수준의 주제를 둘러싼 추상적인 개념에 반응합니다. 그 중 가장 유명한 것은 미국 여배우 '할리 베리(Halle Berry)'의 사진, 스케치, 텍스트에만 반응하는 '할리 베리(Halle Berry)' 뉴런이다. " [ 11].

OpenAI는 다중 모드 뉴런을 사용하여 ResNet-50에 필적하는 성능을 갖춘 일반 비전 시스템을 구현하는 CLIP을 출시했습니다.

머신러닝은 데이터 의미론, 지식 의미론의 통합을 포함하여 텍스트, 소리, 그림, 비디오 등과 같은 다중 모드 데이터 및 정보에 대한 심층적이고 다차원적인 의미론적 이해를 의미하는 다중 모드 뉴런을 도입합니다. , 시각적 의미론, 음성 의미론, 자연어 의미론 등 다양한 의미 이해 기술을 제공합니다. 예를 들어 시각적 의미론을 통해 기계는 명확하게 보는 것에서 비디오를 이해하고 구조화된 의미론적 지식을 추출할 수 있습니다.

3. 지능형 시스템의 기본 구성요소

자율주행 시스템은 대표적인 지능형 시스템입니다. 미국 SAE 자율주행 분류 기준은 자동화 정도에 따라 자율주행 시스템을 5단계로 나눕니다.

레벨	Name	Definition
L0	자동화 없음	조향, 제동, 가속 또는 감속 등.
L1	Driver Assist	운전자는 차량의 자동 운전 시스템의 도움을 받아 주변 환경에 대한 모든 가속, 제동 및 모니터링을 계속 처리할 수 있습니다.
L2	부분 자동화	자동차 자율 주행 시스템은 조향 또는 가속 기능을 지원하고 운전자가 일부 작업에서 벗어날 수 있도록 해줍니다. 운전자는 항상 차량을 제어할 준비가 되어 있어야 하며 대부분의 안전에 중요한 기능과 모든 환경 모니터링에 대한 책임을 져야 합니다.
L3	조건부 자동화	차량 자율주행 시스템은 환경에 대한 모든 모니터링을 자체적으로 제어합니다. 이 수준에서도 운전자의 주의는 여전히 중요하지만 제동과 같은 "안전에 중요한" 기능에서 벗어날 수 있습니다.
L4	고도 자동화	차량의 자율 주행 시스템은 상황이 안전할 때 먼저 운전자에게 이를 알리고 운전자는 차량을 해당 모드로 전환합니다. 교통 체증이나 고속도로 합류와 같은 보다 역동적인 운전 상황을 판단할 수 없습니다. 자율주행차 시스템은 조향, 제동, 가속, 차량 및 도로 모니터링, 이벤트 대응, 차선 변경, 방향 전환, 신호 사용 시기 판단 등의 기능을 갖추고 있습니다.
L5	완전 자동화	자율 운전 시스템은 운전자의 주의 없이도 모든 중요한 작업을 제어하고 환경을 모니터링하며 교통 체증과 같은 고유한 운전 조건을 인식합니다.

자동차 자율주행 시스템의 분류를 보면 지능형 시스템의 L0 레벨은 전적으로 인간의 의사결정이고, L1~L2 레벨은 기계가 전량의 데이터를 바탕으로 데이터 대조 및 분석을 하고, 인간이 만드는 레벨임을 알 수 있다. 소위 데이터 중심 모델인 추론, 판단 및 의사결정 L3~L4는 모든 데이터를 기반으로 데이터 정렬, 분석, 논리적 추론, 판단 및 의사결정을 수행하는 기계이지만 적절한 시점에는 인간의 개입이 필요합니다. L5는 소위 지능형 드라이브 모드인 사람의 개입이 필요하지 않은 완전히 지능적인 기계입니다.

기계가 지능적이 되려면, 즉 기계가 지능적인 시스템이 되려면 최소한 아래 그림에 표시된 구성 요소인 인식, 인지, 이해, 의사 결정 및 행동이 있어야 합니다.

센싱 구성요소의 역할은 환경에서 데이터를 모니터링하고 수집하는 것이며, 출력은 데이터입니다. 핵심은 물리적 공간을 디지털화해 물리적 공간을 데이터 공간에 완벽하게 매핑하는 것이다.

인지 구성 요소의 역할은 데이터를 구성 및 요약하고 유용한 정보를 추출하는 것입니다.

이해 구성 요소의 기능은 추출된 정보를 더욱 구체화하고 요약하여 지식을 얻는 것입니다. 인간이 이해하는 지식은 자연어로 표현되고, 기계의 경우 문제 공간을 나타내는 데이터 세트에 대해 훈련된 "모델"로 표현됩니다.

의사결정 구성요소의 역할은 지식을 바탕으로 추론과 판단을 수행하는 것입니다. 기계의 경우 훈련된 모델을 사용하여 새로운 데이터 공간에서 추론과 판단을 수행하고 대상 작업에 대한 전략을 생성하는 것입니다.

액션 컴포넌트의 역할은 전략을 기반으로 환경과 상호작용하고 환경에 영향을 미치는 것입니다.

피드백 구성 요소의 기능은 작업이 환경에 작용한 후 피드백을 형성하는 것이며, 피드백은 인식 시스템이 더 많은 데이터를 인식하도록 촉진하여 지속적으로 더 많은 지식을 획득하고 대상 작업에 대해 더 나은 결정을 내리며 폐쇄적인 시스템을 형성합니다. 루프 연속 반복 진화.

4. 지능형 보안

인공지능과 네트워크 보안의 결합은 항상 2차원, 4사분면을 가지고 있습니다[9]. 수직적으로 한쪽 끝은 보안에 지능을 제공하는 것입니다. , 한쪽 끝은 공격 관점과 방어 관점이 있습니다. 아래 그림에 표시된 대로 4개 사분면은 두 가지 조합의 네 가지 효과를 나타냅니다.

지능형 자체 보안에는 악용될 수 있는 지능형 기술 자체로 인해 발생하는 취약점과 보안 문제로 인해 발생하는 보안 문제가 포함됩니다. 지능형 기술 자체의 취약성. 주로 인공지능을 활용한 비즈니스 보안, 알고리즘 모델 보안, 데이터 보안, 플랫폼 보안 등을 포함합니다.

알고리즘 모델의 보안 문제에는 우회 공격(적대적 샘플을 통해 모델 결정 및 결과 조작) 및 중독 공격(악성 코드 주입)과 같은 모델 훈련 무결성 위협, 테스트 무결성 위협, 모델 견고성 부족, 모델 편향 위협 등이 주로 포함됩니다. 데이터를 사용하여 모델의 신뢰성과 정확도를 떨어뜨리는 공격), 추론 공격(특정 데이터가 모델 훈련에 사용되었는지 유추), 모델 추출 공격(악성 쿼리 명령을 통해 알고리즘 세부 정보 노출), 모델 역전 공격(출력 데이터를 통해 입력 데이터 유추), 리프로그래밍 공격 (불법 목적으로 AI 모델 변경), 속성 추론 공격, 트로이 목마 공격, 백도어 공격 등 데이터 보안에는 주로 모델 출력에 따른 데이터 유출과 그라데이션 업데이트에 따른 데이터 유출이 포함됩니다. 플랫폼 보안에는 하드웨어 장치 보안 문제와 시스템 및 소프트웨어 보안 문제가 포함됩니다.

이러한 인공지능의 불안전한 문제를 겨냥한 방어기술로는 주로 알고리즘 모델 자기보안 강화, AI 데이터 보안 및 개인정보 유출 방어, AI 시스템 보안 방어 등이 있다. 알고리즘 모델 자체 보안 강화 기술에는 데이터 중심 방어 훈련(예: 적대적 훈련, 경사 은닉, 차단 전송 가능성, 데이터 압축, 데이터 무작위화 등), 모델 중심 방어(예: 정규화, 방어 증류, 특징 크라우딩, 등) 압축, 네트워크 심층 축소, 은닉 방어 등), 특정 방어, 견고성 강화, 해석성 강화 등 AI 데이터 보안 및 개인정보 유출 방어 기술에는 주로 모델 구조 방어, 정보 혼란 방어, 쿼리 제어 방어, 등.

지능에 보안을 부여한다는 것은 지능 기술 자체로 인해 발생하는 새로운 취약점을 의미하며, 이는 공격자가 악용할 수 있고 방어자에게 새로운 보안 위험을 초래할 수 있습니다.

보안 인텔리전스를 제공합니다. 즉, 공격자는 지능형 기술을 사용하여 공격을 수행할 수 있고 방어자는 지능형 기술을 사용하여 보안 보호 기능을 향상할 수 있습니다. 주로 보안 대응 자동화 및 보안 의사결정 자율성에 반영됩니다. 현재 보안 대응 자동화를 개선하는 두 가지 주요 방법이 있습니다:

• SOAR, 보안 오케스트레이션, 자동화 및 대응, 보안 오케스트레이션, 자동화 및 대응
• OODA, 관찰-방향-결정-행동, 관찰-조정-결정-조치; , IACD(Integrated Adaptive Network Defense Framework)는 OODA를 프레임워크로 기반으로 합니다.

아래 그림은 SOAR 중심 자동 대응 워크플로의 개략도입니다.

1994년 인지과학자 스티븐 핑커는 『언어 본능』에서 “인공지능의 경우 어려운 문제는 풀기 쉽고, 단순한 문제는 풀기 어렵다”고 썼습니다. "단순 복합 문제"는 문제 공간이 닫혀 있지만 문제 자체는 복잡도가 높다는 것을 의미합니다. 예를 들어 바둑을 두는 것은 단순 복합 문제입니다. "복잡하고 단순한 문제"란 문제 공간이 무한히 열려 있지만 문제 자체는 그다지 복잡하지 않다는 것을 의미합니다.

예를 들어 네트워크 보안 문제는 복잡하고 단순한 문제이기 때문에 보안 공격의 기술과 방법은 시시각각 변하기 때문에, 특정 네트워크 공격의 경우 흔적이 남는 경우가 많습니다. 따르다.

오늘날의 지능기술은 “단순복합문제” 분야에서는 인간보다 강한 경우가 많지만, “복잡하고 단순한 문제”에서는 일반화 경계로 인한 공간폭발로 인해 인공지능이 실패하는 경우가 많습니다.

안타깝게도 사이버 보안 문제는 복잡하고 단순한 문제이며, 사이버 보안 문제 공간에 인공 지능을 적용하는 것은 어려움에 직면해 있습니다. 특히 모라벡 패러독스(인공지능 및 로봇공학 학자들이 발견한 상식에 반하는 현상입니다.

기존의 가정과 달리 인간 고유의 고차원 지능 능력은 추론 등 컴퓨팅 파워가 거의 필요하지 않지만, 무의식적 능력이 필요합니다) 직관에는 많은 컴퓨팅 성능이 필요함)은 사이버 보안 분야에서 더욱 분명합니다.

인공지능 기술을 네트워크 보안에 적용하면 문제 공간이 폐쇄되지 않고, 표본 공간이 비대칭이고, 추론 결과가 부정확하거나 해석할 수 없으며, 모델 일반화 능력이 저하되고, 도메인 간 사고 통합 문제 등의 과제가 있습니다.

1. 문제 공간은 닫히지 않습니다

위 그림에서 볼 수 있듯이 네트워크 보안의 문제 공간에는 알려진 것과 알려지지 않은 것이 포함됩니다. 알려진 것에는 알려진 취약점과 같은 알려진 알려진 것이 포함되며, 아직 발견되지 않은 알려지고 노출된 보안 취약점과 같은 알려지지 않은 알려진 것도 포함됩니다. , 알 수 없음 알 수 없음, 예를 들어 단순히 어떤 위험이나 위협이 있을지 모르는 것과 같습니다.

2. 표본 공간 비대칭

미지의 미지수는 네트워크 보안에서 피할 수 없는 딜레마로, 이로 인해 네트워크 보안 문제 공간이 폐쇄되지 않게 되어 부정적인 데이터(예: 공격 데이터, 위험 데이터 등)가 심각하게 부족하게 됩니다. ) 기능 공간 비대칭이 발생하여 기능 공간이 문제 공간을 실제로 표현할 수 없게 됩니다. 모델은 기존 데이터 공간의 세계에 대한 가설이며 새로운 데이터 공간에서 추론을 수행하는 데 사용됩니다. 오늘날의 인공지능 기술은 입력과 출력 사이의 비선형적인 복잡한 관계를 잘 해결할 수 있지만, 표본 공간이 상대적으로 열려 있는 문제 공간에 대해서는 심각하게 비대칭적입니다.

3. 추론 결과의 해석 불가능성

인공지능 애플리케이션은 의사결정 판단을 출력하는 것을 목표로 합니다. 설명 가능성은 인간이 결정의 이유를 이해할 수 있는 정도를 나타냅니다. AI 모델에 대한 설명이 많을수록 사람들이 특정 결정이나 예측이 이루어진 이유를 더 쉽게 이해할 수 있습니다. 모델 해석 가능성은 모델의 내부 메커니즘에 대한 이해와 모델 결과에 대한 이해를 의미합니다. 모델링 단계에서는 개발자의 모델 이해를 돕고, 모델을 비교 및 ​​선택하며, 운영 단계에서는 필요에 따라 모델을 최적화 및 조정하고, 의사결정자에게 모델의 내부 메커니즘을 설명하고, 모델 결과를 설명합니다. .

모델링 단계에서 인공지능 기술은 의사결정 정확도와 의사결정 해석성 사이에 모순이 있습니다. 신경망은 의사결정 정확도는 높지만 해석성이 낮고, 의사결정 트리는 해석성은 높지만 정확도가 낮습니다. 물론, 둘 사이의 균형을 어느 정도 달성하기 위해 둘을 결합하는 방법은 이미 있습니다.

운영 단계에서는 데이터 개인 정보 보호, 모델 보안 등에 대한 윤리적 딜레마를 포함하여 모델의 내부 메커니즘과 의사 결정 결과의 해석을 의사 결정자에게 설명합니다.

4. 일반화 능력 저하

1960년대 Bell-LaPadula 보안 모델은 “시스템이 안전한 상태에서 시작되고 결코 안전하지 않은 상태에 빠지지 않는 경우에만 안전하다”고 지적했습니다.

인공지능 기술은 문제 공간을 표현하기 위해 모델을 사용하지만, 보안의 본질은 자원과 지능의 대결이기 때문에 보안 문제 공간은 결코 폐쇄적이지 않습니다. 훈련 세트에서 잘 수행되는 모델은 대규모로 사용될 수 있습니다. 실제 환경에서는 온라인에 접속하자마자 끊임없는 대립이 이어지며 계속해서 실패 상태에 빠지며 모델의 일반화 능력이 저하됩니다.

5. 지능형 보안 자율성 모델

지식과 추론은 인간 지능의 기초입니다. 추론과 의사결정을 실현하기 위해 컴퓨터는 지식 표현과 추론 형식, 불확실성 지식 표현과 추론, 상식이라는 세 가지 문제를 해결해야 합니다. 표현과 추론.

카드 놀이는 불완전한 정보 게임입니다. 컴퓨터가 체스를 두는 것보다 카드 놀이를 하는 것이 훨씬 더 어렵습니다. 2017년에는 6인 무제한 텍사스 홀덤 포커에서 인공지능이 인간을 이겼습니다. 카드게임은 확률적이고 결정론적인 문제이며, 실제 환경은 전혀 불확실하고 심지어 대결적인 환경이기 때문에 복잡한 환경에서는 자율적인 의사결정이 매우 어렵습니다.

적대 시나리오에서 자율적인 의사 결정의 과제는 주로 환경의 역학과 작업의 복잡성이라는 두 가지 측면에서 비롯됩니다. 환경의 역학에는 불확실한 조건, 불완전한 정보, 상황의 역동적인 변화가 포함되며, 실시간 게임에는 정보 수집, 공격, 방어, 정찰, 괴롭힘 등이 포함됩니다.

대립 시나리오에서의 자율적 의사 결정은 일반적으로 상식과 논리적 추론을 사용하여 불완전한 정보를 보완한 다음, 인간의 영역 지식과 강화 학습 결과를 통합하여 계획을 생성하여 올바른 결정을 내리는 데 도움을 줍니다.

복잡한 환경에서의 자율적인 의사결정 역시 환경변화에 어떻게 적응하고 그에 따라 의사결정을 변화시키는가에 대한 문제를 해결해야 합니다. 예를 들어 자율주행은 사물을 식별한 뒤 모델을 구축하고 이를 기반으로 실시간 운전 계획을 세울 수 있지만 긴급상황에 대처하기는 어렵다. 따라서 자율주행 역시 운전 지식과 경험이 필요하며, 이러한 경험적 지식은 환경과의 지속적인 상호작용, 즉 강화학습 과정에서 학습되어야 합니다.

따라서 지능적으로 강화된 보안 시스템의 위협 탐지 및 보호에 대한 자율적인 의사 결정 능력은 지능을 측정하는 주요 지표 중 하나입니다. 자율주행 시스템의 분류를 참조하면 지능형 안전자율모델을 구축할 수 있다. 자율성 없음

방어 대책은 전적으로 보안 전문가의 수동 작업에 의존합니다.

L1	보안 전문가의 지원	보호 시스템은 알려진 공격과 위협을 탐지 및 방어하고, 정확도, 위음성률 및 위양성률, 위협 연구 및 추적 등을 최적화합니다. 보안 전문가가 수동으로 수행해야 합니다.
L2	부분 자율	보호 시스템은 알려진 공격과 위협을 탐지하고 보호하며 알려지지 않은 위협도 감지할 수 있습니다. 그러나 정확도, 오탐률 및 오탐률, 위협 분석 및 소스 추적 등의 최적화에는 보안의 수동 작업이 필요합니다. 전문가.
L3	조건부 자율성	보호 시스템은 알려진 공격과 알려지지 않은 공격 및 위협을 탐지하고 보호하며, 이에 대응하기 위해 정확도, 위음성률, 위양성률을 지속적으로 최적화할 수도 있습니다. 자율성 학습 및 업그레이드가 가능하지만 위협 분석, 소스 추적, 대응 및 기타 작업에는 보안 전문가의 수동 작업이 필요합니다.
L4	고도의 자율성	보호 시스템은 약간의 개입으로 모든 공격과 위협에 대한 탐지, 의사 결정, 보호, 연구 및 판단, 추적 가능성 등을 완료합니다. 그리고 그 과정에서 보안 전문가의 대응을 살펴보겠습니다.
L5	완전 자율	보호 시스템은 보안의 개입과 대응 없이 모든 공격 및 위협 탐지, 의사결정, 보호, 조사 및 판단, 추적성 등을 독립적으로 완료합니다. 전체 과정에서 전문가.

위 내용은 ChatGPT의 인기가 가져온 AI 네트워크 보안에 대한 생각의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!