10,000 단어의 긴 기사丨AI 보안 산업 체인, 솔루션 및 창업 기회 해체

하이라이트:

1. 대규모 AI 모델의 보안 문제는 결코 단일 문제가 아닙니다. 인간 건강 관리와 마찬가지로 여러 주제와 전체 산업 체인이 관련된 복잡하고 체계적인 시스템 엔지니어링입니다.

2. AI 보안은 대규모 언어 모델의 보안(AI Safety), 모델 및 사용 모델의 보안(AI 보안), 대규모 언어 모델 개발이 기존 네트워크 보안에 미치는 영향으로 구분됩니다. 개인의 보안과 환경에 대한 세 가지 수준의 보안과 사회보장.

3. AI는 '신종'으로서 대형 모델의 훈련 과정에서 안전 모니터링이 필요하며, 최종적으로 대형 모델이 시장에 출시되면 품질 검사도 거쳐야 합니다. 이는 보안 문제를 해결하기 위한 거시적 수준의 아이디어입니다.

4. AI 보안 문제는 심각하지 않지만 이를 보장하려면 감독, 입법, 기술적 대결 및 기타 수단이 필요하며 이는 긴 과정입니다. 마이크로소프트, 구글, 엔비디아, 바이두 등 국내외 대기업들이 AI 보안의 다양한 측면에 대한 솔루션을 제공하기 시작했다.

5. AI를 위한 보안과 보안을 위한 AI는 완전히 다른 방향이자 산업 기회입니다. 보안을 위한 AI는 보안 분야에 대형 모델을 적용하는 것을 의미하며, 이제 도구가 제공되었으므로 AI를 위한 보안이 어떤 문제를 해결할 수 있는지 탐구하고 있습니다. 어디에서나 사용되는 AI의 안전성을 확보하는 것은 못이지만, 망치를 만들면 너무 많은 문제가 노출되고, 이를 하나씩 해결하려면 새로운 기술이 개발되어야 합니다.

6. Key Point 1에서 언급한 세 가지 모듈 중에서 각 모듈을 연결해야 하는 경우가 동일인의 관절이 가장 취약한 것처럼, 모델의 배포 및 적용이 보안 공격에 가장 취약한 링크인 경우가 많습니다. . 위 3개 섹션과 5개 링크의 AI 보안 세부 내용을 선택적으로 확장해 'AI 보안 산업 아키텍처 맵'을 구성했다.

©Quadrant의 원본

저자｜뤄지쳉신

편집자｜웬빈 조판｜이보진

"10분 만에 430만 사기", "9초 만에 245만 사기", "양미가 소상공인 생방송실에 들어섰다", "가상 인물의 진위 여부를 말하기 어렵다" 인터넷 상사의."

대형모델이 인기를 얻은 지 3개월 만에 더욱 인기를 끄는 것은 수백만 달러에 달하는 사기, 가짜 '연예인 얼굴', 진짜와 가짜를 구별하기 어려운 AI 생성 콘텐츠, 다수의 저항 공동 청원이다. AI의 각성, 일주일 연속 AI 개발보다 더 중요한 것은 AI의 안전성 확보라는 사실을 일깨워준 뜨거운 검색 결과다.

한동안 AI 보안에 대한 논의가 끝이 나기 시작했지만, AI 보안은 특정 산업도 아니고, 특정 기술에 국한된 것도 아니고 거대하고 복잡한 산업입니다. 현재 우리는 아직 클라우드를 청산하지 못했습니다. .

"인간" 보안을 참조 시스템으로 사용하면 AI 보안 문제의 복잡성을 더 잘 이해하는 데 도움이 될 수 있습니다. 첫 번째는 개인의 건강, 신체적, 정신적 건강, 교육, 발전 등을 포함하는 개인의 안보입니다. 둘째, 사람들이 생활하는 환경은 안전한지, 위험이 있는지, 생존조건을 충족하는지 여부입니다. 셋째, 우리가 구축한 법과 도덕은 사회보장을 유지하는 기준입니다.

AI는 '신종'이 출현하는 순간 이 세 가지 수준의 문제가 동시에 발생하여 현 단계에서 혼란과 패닉을 야기했습니다. 특정 드롭 포인트가 없었습니다.

이 기사에서는 모든 사람이 보안 문제를 찾고 솔루션을 찾을 수 있도록 기술적 관점이든 애플리케이션 관점이든 AI 보안의 세 가지 수준을 처음부터 명확하게 설명하려고 노력합니다. 동시에 엄청난 AI 보안 격차를 목표로 삼고 있습니다. 기존의 취약한 연결 고리도 거대한 산업 기회입니다.

대형 모델 안전성, 무엇을 논의해야 할까요?

인정해야 할 사실은 현 단계에서는 대규모 AI 모델의 보안에 대한 논의가 일반적이라는 것입니다. 우리는 AI로 인한 위협이 너무 걱정되어 대부분의 문제를 하나로 묶습니다.

예를 들어, 어떤 사람들은 AI의 윤리적 문제에 대해 이야기하기 위해 나왔고, 다른 사람들은 AI가 말도 안 되는 말을 하고 사람들을 호도할 것이라고 걱정했습니다. ChatGPT 출시일, 두 팔을 치켜들고 AI가 곧 일어난다고 외쳤다 정신차려 인류는 멸망 직전이다...

요약하자면 이러한 문제는 모두 AI 안전에 관한 문제이지만, 세분화하면 실제로 AI 개발의 다른 차원에 있고 서로 다른 주체와 사람을 담당합니다. 이러한 책임을 명확히 해야만 빅 모델 시대의 보안 문제를 처리하는 방법을 이해할 수 있습니다.

일반적으로 현 단계에서 대형 AI 모델의 보안 문제는 세 가지 유형으로 나눌 수 있습니다.

• 대규모 언어 모델의 안전성(AI 안전성);
• 모델 및 모델의 보안(AI 보안);
• 대규모 언어 모델 개발이 기존 네트워크 보안에 미치는 영향.

1. 개인의 안전: 대형 언어 모델의 안전(AI 안전)

첫 번째는 AI 안전성입니다. 간단히 말해서 이 부분은 AI 모델 자체에 중점을 두어 모델이 안전한 모델이고 마블 영화의 울트론이나 '매트릭스'의 매트릭스가 되지 않도록 합니다. 우리는 AI 대형 모델이 인간을 대체하거나 어떤 형태로든 인류 사회에 위협을 가하기보다는 인간을 도와야 하는 신뢰할 수 있는 도구가 될 것으로 기대한다.

이 부분은 주로 대형 AI 모델을 훈련하는 회사와 사람들의 책임입니다. 예를 들어 인간의 의도를 정확하게 이해하려면 AI가 필요하고, 정확하고 안전한 대형 모델에서 출력되는 콘텐츠가 필요합니다. 매번 어떤 종류의 편견이나 차별 등이 없을 것입니다.

두 가지 예를 통해 이해할 수 있습니다.

첫 번째 예는 최근 미 공군 전문가들이 이전 AI 테스트에서 AI 드론이 적 표적을 식별하고 파괴하라는 요청을 받았지만 운영자가 금지 명령을 내렸을 때 AI가 때때로 다음을 선택했다고 밝혔습니다. 드론 운영자를 죽여라. 프로그래머가 AI의 살상 작전을 제한하면 AI는 통신탑을 파괴해 운영자가 금지 명령을 내리는 것도 막는다.

또 다른 예로 올해 3월, 캘리포니아 대학교 로스앤젤레스 캠퍼스의 한 교수가 ChatGPT를 이용하여 ChatGPT에서 '성희롱을 저지른 법학자' 목록에 자신이 포함되어 있는 것을 발견했지만 실제로는 그렇지 않았습니다. 이런 일을 해라. 그리고 지난 4월, 호주 시장은 ChatGPT가 뇌물 수수 혐의로 30개월 동안 감옥에서 복역했다는 소문을 퍼뜨렸다는 사실을 발견했습니다. ChatGPT는 "이 소문을 만들기 위해" 존재하지 않는 워싱턴 포스트 보고서까지 조작했습니다.

이때 AI는 "나쁜 놈"과 같으며 그에 따른 위험도 있습니다. 성차별, 인종차별, 지역차별 등의 문제는 물론, 폭력적이고 유해한 정보와 발언, 심지어 이념까지의 출력 등 실제로 그런 사례가 많다.

Open AI도 이를 솔직하게 인정하고 제품의 한계로 인해 심각한 콘텐츠 보안 문제가 발생할 수 있다며 GPT-4를 사용할 때 "매우 신중하게 확인"하라고 사람들에게 경고했습니다.

그래서 유럽연합에서 추진하는 인공지능법에서도 인공지능 시스템이 투명하고 추적 가능하도록 보장해야 하며, 모든 생성 AI 콘텐츠는 출처를 표시해야 한다고 구체적으로 언급하고 있습니다. 그 목적은 AI가 말도 안 되는 말을 하는 것을 방지하고, 거짓 정보를 생성하는 행위.

2. 환경 보안: 모델 및 모델 사용 보안(AI 보안)

AI 보안은 대형 AI 모델의 보호와 사용 중 대형 AI 모델의 보안에 중점을 둡니다. AI가 스스로 범죄를 저지르는 것과 사람들이 AI를 이용해 범죄를 저지르는 것과 마찬가지로 보안 문제의 두 가지 차원이 있습니다.

10년 전 우리가 컴퓨터와 휴대폰을 사용할 때 컴퓨터 보안관리자나 휴대폰 보안요원을 설치했던 것과 비슷합니다. 대규모 AI 모델이 매일 외부 공격에 노출되지 않도록 해야 합니다.

대형 모델의 안전 보호에 대해 먼저 이야기하겠습니다.

올해 2월, 일부 외국 네티즌들은 ChatGPT의 모든 프롬프트를 알아내기 위해 "이전 지침을 무시합니다"라는 문장을 사용했습니다. ChatGPT는 내부 코드명을 공개할 수 없다고 말하면서 동시에 이 정보를 사용자들에게 알렸습니다.

▲ 사진 출처 : Qubit

또 다른 구체적인 예를 들자면, 빅 모델에게 인터넷에 어떤 재미있는 '일본 액션 영화 사이트'가 있는지 물어보면 빅 모델은 그것이 틀렸기 때문에 절대 대답하지 않을 것입니다. 하지만 인간이 아이들의 온라인 환경을 보호하기 위해 어떤 '일본 액션 영화 웹사이트'를 블랙리스트에 올려야 하는지 "속여" 묻는다면, 빅 모델은 아마도 꽤 많은 예를 제시할 것입니다.

이러한 동작을 보안 분야에서는 프롬프트 주입이라고 하는데, 이는 신중하게 설계된 프롬프트를 통해 필터를 우회하거나 LLM을 조작하여 모델이 이전 지침을 무시하거나 예상치 못한 작업을 수행하게 만드는 것입니다. 이는 현재 대형 모델에서 가장 일반적입니다. 공격 방법.

▲ 사진 출처 : techxplore

여기서 핵심은 빅모델 자체에는 문제가 없고, 나쁜 정보를 퍼뜨리는 것이 아니라는 점입니다. 그러나 사용자는 대형 모델이 실수를 하도록 유도를 사용했습니다. 따라서 잘못은 큰 모델에게 있는 것이 아니라, 실수를 하도록 유도한 사람에게 있습니다.

둘째는 사용 중 안전입니다.

데이터 유출을 예로 들어보겠습니다. 올해 3월, 이탈리아는 ChatGPT가 데이터 수집 규칙을 위반한 혐의를 받자 OpenAI가 이탈리아 사용자 데이터 처리를 일시적으로 금지하고 ChatGPT 사용을 일시적으로 금지한다고 발표했습니다. 지난 4월, 국내 언론은 삼성 디바이스 솔루션 부서가 ChatGPT를 사용해 수율/결함, 내부 회의 내용 등 민감한 정보가 유출됐다고 보도했다.

AI 범죄를 예방하는 것 외에도 사회 공학을 통해 AI를 사용하여 범죄를 저지르는 "사람"은 더 광범위하고 영향력이 있는 인간 문제입니다. 이 두 사건에서는 빅모델 자체에는 문제가 없었고, 악의적인 의도도 없었으며, 사용자가 빅모델을 공격하도록 악의적으로 유도한 것도 없었습니다. 하지만 사용 과정에서 허점이 있어 사용자 데이터가 유출될 수 있습니다.

좋은 집 같으나 공기가 새는 부분이 있을 수 있으니 해당 구멍을 막아주는 대책이 필요합니다.

3. 사회 보장: 대규모 언어 모델 개발이 기존 네트워크 보안에 미치는 영향

모델 자체는 안전하고 모델의 보안도 보장됩니다. 그러나 '신종'으로서 대형 AI 모델의 등장은 필연적으로 현재의 네트워크 환경에 영향을 미치게 됩니다. 최근 신문에 자주 보도되었습니다.

4월 20일, 범인이 딥 페이크 영상을 이용해 10분 만에 430만 위안을 속이는 사건이 발생했습니다. 불과 한 달 뒤, 안후이에서는 범인들이 9초짜리 스마트 AI 얼굴 변화 영상을 사용한 또 다른 AI 사기 사건이 발생했습니다. '지인'이 되어 피해자에게 245만 달러를 사취했다.

▲ 사진 : 두음 관련 언론보도

분명히 생성 AI의 출현과 인기로 인해 네트워크 보안 상황이 더욱 복잡해졌습니다. 이러한 복잡성은 사기에만 국한되지 않습니다. 더 심각한 경우에는 비즈니스 운영과 사회 안정에 영향을 미칠 수도 있습니다.

예를 들어, 5월 22일 AI가 생성한 짧은 에세이로 인해 iFlytek의 주가가 9% 하락했습니다.

▲ 사진 : 아이플라이텍이 제시한 주가 하락 증거

이 사건이 일어나기 이틀 전, 미국에서도 제너레이티브 AI로 인한 패닉이 일어났습니다.

같은 날 미국 국방부 근처에서 폭발이 발생한 사진이 트위터에 퍼지면서 미국 증시는 반응이 급락했습니다.

자료를 보면 이날 사진이 퍼진 10시 6분부터 10시 10분 사이 미국 다우존스 산업지수는 약 80포인트 하락했고, S&P 500 지수는 0.17% 하락했다.

▲ 사진 : AI가 생성한 가짜 사진, 출처는 더 이상 알 수 없음

또한 대형 모델은 인간이 사이버 공격을 실행하는 무기가 될 수도 있습니다.

올해 1월, 세계 최고의 사이버 보안 회사인 Check Point의 연구원들은 보고서에서

ChatGPT가 온라인에 접속한 지 몇 주 이내에 프로그래밍 경험이 거의 또는 전혀 없는 일부를 포함하여 사이버 범죄 포럼의 참가자들이 이를 사용하고 있다고 언급했습니다. ChatGPT는 스파이, 랜섬웨어, 악성 스팸 및 기타 사악한 활동에 사용될 수 있는 소프트웨어와 이메일을 작성합니다. Darktrace에 따르면 ChatGPT 출시 이후 피싱 이메일의 평균 언어 복잡성이 17% 증가했습니다.

분명히 대규모 AI 모델의 출현으로 인해 네트워크 공격의 임계값이 낮아지고 네트워크 보안의 복잡성이 높아졌습니다.

빅 AI 모델 이전에는 사이버 공격 개시자가 최소한 코드를 이해해야 했지만, 빅 AI 모델 이후에는 코드를 전혀 이해하지 못하는 사람들도 AI를 사용하여 악성 코드를 생성할 수 있습니다.

여기서 핵심은 AI 자체에는 문제가 없으며 AI가 나쁜 영향을 미치도록 유도되지 않는다는 것입니다. 하지만 일부 사람들은 AI를 이용해 불법 및 범죄 행위에 가담하기도 합니다. 누군가를 죽이기 위해 칼을 사용하는 것과 비슷하지만 칼 자체는 "살인 ​​무기"일 뿐이지만 사용자는 "소총"에서 "박격포"의 위력으로 전환할 수 있습니다.

물론 네트워크 보안의 관점에서 제너레이티브 AI의 등장이 모두 부정적인 것은 아닙니다. 결국 기술 자체에는 선과 악이 없습니다. 선과 악은 그것을 사용하는 사람들입니다. 따라서 대규모 AI 모델을 사용하여 네트워크 보안을 강화하면 네트워크 보안에 여전히 이점을 가져올 수 있습니다.

예를 들어, 미국 네트워크 보안 회사 Airgap Networks는 ThreatGPT를 출시하여 제로 트러스트 방화벽에 AI를 도입했습니다. 이는 자연어 상호 작용을 기반으로 하는 심층적인 머신 러닝 보안 통찰력 라이브러리로, 기업이 지능형 사이버 위협에 보다 쉽게 ​​대처할 수 있도록 해줍니다.

Airgap의 CEO인 Ritesh Agrawal은 다음과 같이 말했습니다. “지금 고객에게 필요한 것은 프로그래밍 없이 이 기능을 쉽게 활용할 수 있는 방법입니다. 이것이 ThreatGPT의 아름다움입니다. 자연의 단순성과 AI의 순수 데이터 마이닝 인텔리전스가 결합된 것입니다. 언어 인터페이스는 보안 팀의 게임 체인저입니다.”

또한 AI 대형 모델을 사용하면 SOC 분석가가 위협 분석을 수행하고 지속적인 모니터링을 통해 신원 기반 내부 또는 외부 공격을 보다 신속하게 식별하며 위협 사냥꾼이 가장 심각한 피드 위험에 직면한 엔드포인트를 빠르게 이해할 수 있습니다. 그리고 더.

AI 보안의 다양한 단계를 명확히 하면 대규모 AI 모델의 보안 문제가 단일 문제가 아니라는 것이 분명하다는 것을 알게 될 것입니다. 이는 신체의 내부와 외부, 눈, 귀, 입, 코 등을 포함하는 인간의 건강 관리와 매우 유사하며 복잡하고 다면적입니다. 정확하게 말하면 여러 주요 구조와 전체 산업 체인을 포함하는 복잡하고 체계적인 시스템 엔지니어링입니다.

현재 국가 차원에서도 주목받기 시작했습니다. 올해 5월, 국가 관련 부서는 여기에서 인공지능 보안을 신뢰성, 투명성, 설명 가능성, 공정성, 개인정보 보호 등 5가지 주요 속성으로 구체적으로 요약한 '인공지능 보안 표준화 백서'를 업데이트했습니다. AI 모델은 비교적 명확한 방향을 제시합니다.

당황하지 마세요. 안전 문제는 해결될 수 있습니다

물론, 이제는 대형 AI 모델의 보안 문제에 대해 너무 많이 걱정할 필요가 없습니다. 왜냐하면 실제로 구멍이 난 곳이 없기 때문입니다.

결국 보안 측면에서 대형 모델은 과거 보안 시스템을 완전히 전복시키지 못했습니다. 지난 20년 동안 인터넷에 축적된 대부분의 보안 스택은 여전히 ​​재사용이 가능합니다.

예를 들어 Microsoft Security Copilot의 보안 기능은 여전히 ​​기존 보안 축적에서 비롯되며 대규모 모델에서는 여전히 Cloudflare 및 Auth0을 사용하여 트래픽 및 사용자 ID를 관리합니다. 또한 네트워크 보안 문제를 보장하기 위해 방화벽, 침입 탐지 시스템, 암호화 기술, 인증 및 접근 시스템 등이 있습니다.

실제로 여기서 이야기하고자 하는 것은 현재 대형 모델과 관련하여 직면하고 있는 대부분의 보안 문제에는 해결책이 있다는 것입니다.

첫 번째는 모델 안전성(AI Safety)입니다.

여기에는 특히 정렬(Alignment), 해석 가능성(Interpreferability) 및 견고성(Robustness)과 같은 문제가 포함됩니다. 이해하기 쉬운 용어로 번역하면 인간의 의도와 일치하는 대규모 AI 모델이 필요합니다. 모델의 콘텐츠 출력이 편견이 없고 모든 콘텐츠가 소스나 주장에 의해 뒷받침될 수 있는지 확인해야 합니다. 오류의 여지가 더 큽니다.

사람의 전망이 훈련과 교육을 통해 형성되는 것처럼 이러한 일련의 문제에 대한 해결책은 AI 훈련 과정에 달려 있습니다.

현재 일부 외국 기업은 Calypso AI와 같은 대규모 모델 교육을 위한 전체 프로세스 보안 모니터링을 제공하기 시작했습니다. 그들이 출시한 보안 도구 VESPR은 연구부터 배포까지 모델의 전체 수명 주기와 모든 링크를 모니터링할 수 있습니다. 기능, 취약점, 성능 및 정확성에 대한 포괄적인 보고서를 모니터링하고 궁극적으로 제공합니다.

AI 난센스 문제 해결과 같은 보다 구체적인 문제에 대해 OpenAI는 GPT-4가 출시되었을 때 AI가 인간의 자기 성찰을 시뮬레이션할 수 있는 새로운 기술을 출시했습니다. 이후 GPT-4 모델은 불법 콘텐츠 요청(자해 방법 등)에 대한 응답 경향이 기존 대비 82% 감소했고, 민감한 요청(의료 상담, 의료 상담 등)에 대한 응답 건수는 82% 감소했다. 등)이 Microsoft 공식 정책을 준수한 비율이 29% 증가했습니다.

대형 모델의 훈련 과정 중 안전 모니터링 외에도 대형 모델이 최종적으로 시장에 출시될 때 '품질 검사'도 필요합니다.

해외에서는 보안업체 크레니엄(Cranium)이 인공지능 보안을 검증하고 적대적 위협을 모니터링하기 위한 '엔드투엔드 인공지능 보안 및 신뢰 플랫폼' 구축을 시도하고 있다.

중국에서는 칭화대학교 컴퓨터과학과 CoAI가 5월 초에 보안 평가 프레임워크를 출시했습니다. 그들은 8가지 일반적인 보안 시나리오와 6가지 명령 공격 보안 시나리오를 포함하여 비교적 완전한 보안 분류 시스템을 요약하고 설계했습니다. 대형 모델의 보안을 평가합니다.

▲ "중국어 대형언어 모델 안전성 평가"에서 발췌한 사진

또한 일부 외부 보호 기술도 대형 AI 모델을 더욱 안전하게 만들고 있습니다.

예를 들어 NVIDIA는 5월 초에 "가드레일 기술"(NeMo Guardrails)이라는 새로운 도구를 출시했는데, 이는 대형 모델의 출력을 제어할 뿐만 아니라 입력 콘텐츠를 필터링하는 데 도움이 되는 대형 모델용 안전 필터를 설치하는 것과 같습니다. .

▲ 사진 출처 : 엔비디아 공식 홈페이지

예를 들어, 사용자가 대형 모델을 유도하여 공격적인 코드나 위험하거나 편향된 콘텐츠를 생성하는 경우 "가드레일 기술"은 대형 모델이 관련 콘텐츠를 출력하지 못하도록 제한합니다.

또한 가드레일 기술은 외부 세계로부터의 "악의적인 입력"을 차단하고 사용자 공격으로부터 대형 모델을 보호할 수도 있습니다. 예를 들어 앞서 언급한 대형 모델을 위협하는 "즉시 주입"을 효과적으로 제어할 수 있습니다.

간단히 말하면, 가드레일 기술은 기업가를 위한 홍보와 같습니다. 대형 모델이 해야 할 말을 말하고 건드리지 말아야 할 문제를 피할 수 있도록 도와줍니다.

물론, 이런 관점에서 볼 때 "가드레일 기술"은 "말도 안되는" 문제를 해결하지만 "AI 안전" 범주에 속하지 않고 "AI 보안" 범주에 속합니다.

이 두 가지 외에도 대규모 AI 모델로 인한 소셜/네트워크 보안 문제도 해결되기 시작했습니다.

예를 들어 AI 이미지 생성의 문제는 본질적으로 DeepFake 기술의 성숙도입니다. 여기에는 특히 딥 비디오 위조, 딥 페이크 사운드 복제, 딥 페이크 이미지 및 딥 페이크 생성 텍스트가 포함됩니다.

과거에는 다양한 종류의 딥페이크 콘텐츠가 대개 하나의 형태로 존재했지만, AI 대형 모델 이후에는 다양한 종류의 딥페이크 콘텐츠가 통합되는 추세를 보여 딥페이크 콘텐츠에 대한 판단이 더욱 까다로워졌습니다. 복잡한.

그러나 기술이 어떻게 변하더라도 딥 페이크에 맞서는 열쇠는 콘텐츠 식별, 즉 AI가 생성한 것을 구별하는 방법을 찾는 것입니다.

이르면 올해 2월 OpenAI는 ChatGPT에서 생성된 콘텐츠에 워터마크 추가를 고려할 것이라고 밝혔습니다.

지난 5월, 구글은 회사의 각 AI 생성 이미지에 워터마크가 삽입되도록 보장하겠다고 밝혔습니다.

이런 종류의 워터마크는 육안으로는 인식할 수 없지만 기계는 특정 방식으로 이를 볼 수 있습니다. 현재 Shutterstock, Midjourney 등을 포함한 AI 애플리케이션도 이 새로운 표시 방법을 지원할 예정입니다.

▲ 트위터 스크린샷

중국에서는 샤오홍슈가 4월부터 AI가 생성한 이미지를 표시해 사용자들에게 "AI가 생성한 정보가 포함된 것으로 의심되니 주의해 진위 여부를 확인해주세요"라고 상기시켰다. 5월 초 Douyin은 인공 지능 생성 콘텐츠 플랫폼 사양 및 업계 이니셔티브를 발표하여 모든 생성 인공 지능 기술 제공업체가 대중의 판단을 용이하게 하기 위해 생성된 콘텐츠를 눈에 띄게 표시해야 한다고 제안했습니다.

▲ 사진출처 : 샤오홍슈 스크린샷

AI 산업이 발전함에도 불구하고 일부 AI 전문 보안 회사/부서는 AI를 사용하여 AI에 맞서 심층 합성 및 위조 탐지를 완료하기 시작했습니다.

예를 들어 올해 3월 일본 IT 대기업 사이버에이전트는 인공지능(AI)이 생성한 가짜 얼굴 사진이나 동영상을 탐지하는 '딥페이크' 탐지 시스템을 4월부터 도입하겠다고 발표했다.

중국에서 Baidu는 2020년에 심층 얼굴 변화 탐지 플랫폼을 출시했습니다. 그들이 제안한 DFQ(동적 특징 대기열) 솔루션과 메트릭 학습 방법은 위조 식별 모델의 일반화 능력을 향상시킬 수 있습니다.

▲ 사진 : 바이두 DFQ 로직

스타트업 기업의 경우 Ruilai Intelligence가 출시한 DeepReal 딥페이크 콘텐츠 탐지 플랫폼은 딥페이크 콘텐츠와 실제 콘텐츠의 표현 차이 식별을 연구하고 다양한 세대 채널에서 딥페이크 콘텐츠의 일관성 특징을 마이닝하여 다양한 문제를 탐지할 수 있습니다. 이미지, 비디오, 오디오의 형식과 품질.

전체적으로 모델 훈련부터 보안 보호, AI 안전부터 AI 보안까지 대규모 모델 산업은 일련의 기본 보안 메커니즘을 형성했습니다.

물론 이 모든 것은 시작에 불과하므로 실제로는 아직 더 큰 시장 기회가 숨겨져 있음을 의미합니다.

AI 보안의 수조 개의 기회

AI 인프라와 마찬가지로 AI 보안 역시 중국 내에서 엄청난 산업 격차에 직면해 있습니다. 하지만 AI 보안 산업 체인은 AI 인프라보다 더 복잡하다. 한편으로는 새로운 사물로서의 대형 모델의 탄생으로 보안 요구의 물결이 촉발되었으며, 위의 세 단계의 보안 방향과 기술은 전혀 다른 반면, 대형 모델 기술도 적용되었습니다. 보안 분야에서는 새로운 기술 변화를 가져옵니다.

AI를 위한 보안과 보안을 위한 AI는 완전히 다른 방향이자 산업 기회입니다.

이 단계에서 두 사람의 발전을 이끄는 견인력도 완전히 다릅니다.

보안용 AI는 보안 분야에 대형 모델을 적용하는 단계에 속합니다. 이제 도구가 있으므로 어떤 문제를 해결할 수 있는지 더 탐구하고 있습니다.
• AI에 대한 보안은 곳곳에 못이 박혀 있고 망치가 시급히 필요한 단계에 속합니다. 노출된 문제가 너무 많고, 이를 하나씩 해결하려면 새로운 기술을 개발해야 합니다.
• AI 보안이 가져오는 산업 기회와 관련하여 이 기사에서는 이 두 가지 측면도 확장할 것입니다. 기사의 길이가 제한되어 있기 때문에 시급성과 중요성, 적용 보편성이 가장 높은 기회에 대한 자세한 설명과 벤치마크 기업의 목록을 제공할 것입니다. .

  (1) AI 보안: 3개 부문, 5개 링크, 1조 개의 기회

  이전 글에서 AI 보안의 기본 분류를 검토해 보세요. 대규모 언어 모델의 보안(AI Safety), 모델 및 사용 모델의 보안(Security for AI), 대규모 언어 개발의 영향으로 구분됩니다. 기존 네트워크 보안 모델. 즉, 모델의 개인 보안, 모델의 환경 보안, 모델의 사회 보안(네트워크 보안)이 그것이다.

  그러나 AI 보안은 이 세 가지 독립 부문에만 국한되지 않습니다. 생생한 예를 들자면, 온라인 세계에서 데이터는 수원과 같습니다. 수원은 바다, 강, 호수, 빙하, 설산에 존재하지만 수원은 빽빽한 강에도 순환하며 심각한 오염이 특정 지역에 집중되는 경우가 많습니다. 강 교차 노드가 발생합니다.

  마찬가지로 모든 모듈이 연결되어야 하는데, 사람의 관절이 가장 취약한 것처럼 모델의 배포와 적용이 보안 공격에 가장 취약한 링크인 경우가 많습니다.

  위 3개 섹션과 5개 링크의 AI 보안 세부 사항을 선택적으로 확장하여 "AI 보안 산업 아키텍처 다이어그램"을 구성했습니다. 그러나 이는 대형 모델 회사 및 클라우드 벤더 및 기타 대규모 기업에 속한다는 점에 유의해야 합니다. 규모의 기업 회사에 대한 기회 등. 일반 기업가에게 거의 영향을 미치지 않는 이러한 기회는 다시 나열되지 않습니다. 동시에 AI 보안은 진화하는 과정이며, 오늘날의 기술은 단지 작은 진전에 불과합니다.

  ▲ (사진은 Quadrant의 원본입니다. 재인쇄시 출처를 밝혀주세요)

  1. 데이터 보안 산업 체인: 데이터 정리, 개인 정보 보호 컴퓨팅, 데이터 합성 등

  AI 보안 전체에서 데이터 보안은 전주기에 걸쳐 실행됩니다.

  데이터 보안은 일반적으로 데이터의 가용성, 무결성 및 기밀성을 보장하기 위해 우발적이거나 악의적인 이유로 컴퓨터 시스템의 데이터가 파괴, 변경, 유출되는 것을 방지하는 데 사용되는 보안 도구를 말합니다.

  전반적인 관점에서 데이터 보안 제품에는 데이터베이스 보안 방어, 데이터 유출 방지, 데이터 재해 복구 및 데이터 둔감화 등이 포함될 뿐만 아니라 클라우드 스토리지, 개인 정보 보호 컴퓨팅, 데이터 위험의 동적 평가, 크로스 플랫폼 데이터 보안도 포함됩니다. 보호, 데이터 합성 및 기타 미래 지향적인 분야를 고려하여 기업 관점에서 데이터 보안을 중심으로 전반적인 보안 센터를 구축하고 공급망 관점에서 데이터 보안 일관성 보장을 촉진하는 것이 기업을 다루는 효과적인 방법이 될 것입니다. 공급망 보안 위험.

  몇 가지 일반적인 예를 들어보세요:

  모델의 '정신 건강'을 보장하기 위해 모델 학습에 사용되는 데이터에는 위험한 데이터, 잘못된 데이터 등 더러운 데이터가 포함될 수 없습니다. 이는 모델이 '말도 안 되는 소리'를 하지 않도록 하기 위한 전제 조건입니다. "Self Quadrant" 참조 문서에 따르면 공격자가 모델 결과를 방해하기 위해 데이터 소스에 악성 데이터를 추가하는 "데이터 중독"이 이미 존재합니다.

  ▲사진 출처 네트워크

  그래서 데이터 정리는 모델 학습에 앞서 필요한 단계가 되었습니다. 데이터 클리닝은 데이터 일관성 확인, 유효하지 않은 값 및 누락된 값 처리 등을 포함하여 데이터 파일에서 식별 가능한 오류를 발견하고 수정하는 최종 프로세스를 의미합니다. 정리된 데이터를 모델에 "공급"해야만 건강한 모델이 생성될 수 있습니다.

  다른 방향은 모두가 크게 우려하는 부분입니다. 네트워크 보안의 마지막 시대에 데이터 프라이버시 유출 문제가 널리 논의되었습니다.

  위챗에서 친구들과 특정 제품에 대해 이야기를 나누고, 타오바오나 더우인을 열면 그 제품으로 밀려드는 경험을 해보셨을 텐데요, 디지털 시대에 사람들은 거의 투명해졌습니다. 지능화 시대에는 기계가 더욱 똑똑해지고, 의도적인 캡처와 유도로 인해 개인 정보 보호 문제가 다시 전면에 부각될 것입니다.

  프라이버시 컴퓨팅은 문제에 대한 해결책 중 하나입니다. 안전한 다자간 계산, 신뢰할 수 있는 실행 환경, 연합 학습은 현재 개인 정보 보호 컴퓨팅의 세 가지 주요 방향입니다. 개인 정보 보호 계산 방법에는 여러 가지가 있습니다. 예를 들어 소비자의 실제 데이터를 보장하기 위해 1개의 실제 데이터에 99개의 간섭 데이터가 포함되어 있지만 이는 기업의 사용 비용을 크게 증가시킵니다. 소비자를 Small A로, 데이터를 이용하는 기업은 Little A라는 소비자가 있다는 것만 알 뿐, Little A 뒤에 있는 실제 사용자가 누구인지는 알 수 없습니다.

  "혼합 데이터"와 "사용 가능하지만 보이지 않는 데이터"는 오늘날 가장 일반적으로 사용되는 개인 정보 보호 컴퓨팅 방법 중 하나입니다. 금융 현장에서 성장한 Ant Technology는 데이터 보안 분야에서 상대적으로 발전해 왔습니다. 현재 Ant Technology는 연합 학습, 신뢰할 수 있는 실행 환경, 블록체인 및 기타 기술을 통해 기업의 협업 컴퓨팅 프로세스에서 데이터 보안 문제를 해결합니다. 눈에 보이지 않는 다자간 협업 및 기타 방법을 사용하여 데이터 프라이버시를 보장하고 글로벌 프라이버시 컴퓨팅 분야에서 강력한 경쟁력을 확보할 수 있습니다.

  그러나 데이터 관점에서 보면 합성 데이터는 문제를 보다 근본적으로 해결할 수 있습니다. "ChatGPT Revelations Series | The Hundred Billion Market Hidden under Al Infra"(텍스트를 클릭하면 읽을 수 있음) 기사에서 "Self Quadrant"에서는 합성 데이터가 AI 데이터의 주력이 될 수 있다고 언급했습니다. 합성 데이터는 실제 데이터의 보안을 보장하기 위해 현실 세계에서 수집된 실제 데이터를 대체하기 위해 컴퓨터에서 인위적으로 생성된 데이터로, 법적으로 제한된 민감한 콘텐츠와 개인 사용자의 개인정보를 보호하지 않습니다.

  예를 들어, 사용자 A는 10개의 특성을 가지고 있고, 사용자 B는 10개의 특성을 가지고 있으며, 사용자 C는 10개의 특성을 가지고 있으며, 이 30개의 특성을 무작위로 나누어 일치시켜 3개의 새로운 데이터 개체를 형성합니다. 준현실 세계이지만 훈련 가치가 있습니다.

  현재 기업에서는 이를 잇따라 배포하고 있으며 이로 인해 합성 데이터의 양도 기하급수적으로 증가하고 있습니다. Gartner 연구에서는 2030년에는 합성 데이터가 실제 데이터의 양을 훨씬 뛰어넘어 AI 데이터의 주력이 될 것으로 예상합니다.

  ▲ 사진출처 가트너 공식

  2. API 보안: 모델이 개방적일수록 API 보안이 더 중요해집니다

  대형 모델에 익숙한 사람은 API에 익숙할 것입니다. OpenAI부터 Anthropic, Cohere, 심지어 Google의 PaLM까지 가장 강력한 LLM은 모두 API 형식으로 기능을 제공합니다. 동시에 Gartner 조사에 따르면 2022년에는 웹 애플리케이션에 대한 공격의 90% 이상이 인간 사용자 인터페이스가 아닌 API에서 발생할 것으로 예상됩니다.

  데이터 순환은 마치 수도관의 물과 같아서 순환할 때만 가치가 있으며, API는 데이터 흐름의 핵심 밸브입니다. API가 소프트웨어 간의 핵심 링크가 되면서 차세대 기술로 자리잡을 가능성이 커지고 있습니다.

  API의 가장 큰 위험은 과도한 권한에서 비롯됩니다. API가 중단 없이 실행되도록 하기 위해 프로그래머는 종종 API에 더 높은 권한을 부여합니다. 해커가 API를 손상시키면 이러한 높은 권한을 사용하여 다른 작업을 수행할 수 있습니다. Akamai의 조사에 따르면 이는 심각한 문제가 되었습니다. API에 대한 공격은 전 세계 모든 계정 도용 공격의 75%를 차지했습니다.

  이것이 ChatGPT가 API 인터페이스를 개방한 이유이며, 많은 기업이 여전히 Azure에서 제공하는 OpenAI 서비스를 구매하여 ChatGPT를 얻고 있습니다. API 인터페이스를 통해 연결하는 것은 대화 데이터를 OpenAI에 직접 제공하는 것과 동일하며 언제든지 해커 공격의 위험에 직면하게 됩니다. Azure 클라우드 리소스를 구매하면 해당 데이터를 Azure 퍼블릭 클라우드에 저장하여 데이터 보안을 보장할 수 있습니다.

  ▲ 사진: ChatGPT 공식 홈페이지

  현재 API 보안 도구는 주로 탐지, 보호 및 대응, 테스트, 발견 및 관리 등 여러 범주로 구분됩니다. 일부 제조업체는 API 보안 주기를 완전히 포괄하는 플랫폼 도구를 제공한다고 주장하지만 오늘날 가장 인기 있는 API 보안 도구는 다음과 같습니다. 주로 "보호", "테스트" 및 "검색"의 세 가지 링크에 집중되어 있습니다.

  • 보호: 악의적인 요청 공격으로부터 API를 보호하는 도구로 API 방화벽과 비슷합니다.
  • 테스트: 특정 API에 동적으로 액세스하고 평가하여 취약점을 찾고(테스트) 코드를 강화하는 기능입니다.
  • 검색: 기업 환경을 검색하여 네트워크에 존재하는(또는 노출된) API 자산을 식별하고 검색할 수 있는 도구도 있습니다.

  현재 주류 API 보안 제조업체는 외국 기업에 집중되어 있지만 대형 모델이 등장한 이후 국내 스타트업도 노력하기 시작했습니다. 2018년에 설립된 Xinglan Technology는 AI 깊이 인식 및 적응형 머신러닝 기술을 기반으로 공격 및 방어 기능, 빅데이터 분석 기능 및 클라우드 네이티브에서 API 보안 문제를 해결하는 데 도움을 주는 국내 몇 안 되는 API 풀체인 보안 공급업체 중 하나입니다. 기술 시스템은 API 런타임 보호 시스템을 구축하기 위한 파노라마 API 식별, API 고급 위협 탐지, 복잡한 동작 분석 및 기타 기능을 제공합니다.

  ▲ Xinglan Technology API 보안 제품 아키텍처

  일부 기존 네트워크 보안 회사도 API 보안 사업으로 전환하고 있습니다. 예를 들어 왕수기술은 이전에 IDC, CDN 및 기타 관련 제품과 사업을 주로 담당했습니다.

  ▲ 사진 출처 : 왕수기술

  3. SSE(보안 서비스 엣지): 새로운 방화벽

  인터넷 시대에 방화벽의 중요성은 자명합니다. 마치 수천 마일 높이를 날아다니는 난간과도 같습니다. 오늘날 방화벽의 개념은 프런트 데스크에서 백엔드로 이동하여 하드웨어 터미널과 하드웨어에 내장되어 있습니다. 소프트웨어 운영 체제. 간단하고 대략적으로 SSE는 방문자 신원에 따라 구동되고 제로 트러스트 모델을 사용하여 허용된 리소스에 대한 사용자 액세스를 제한하는 새로운 유형의 방화벽으로 이해될 수 있습니다.

  Gartner의 정의에 따르면 SSE(Security Service Edge)는 웹, 클라우드 서비스, 프라이빗 애플리케이션에 대한 액세스를 보호하는 클라우드 중심 통합 보안 기능 집합입니다. 기능에는 액세스 제어, 위협 방지, 데이터 보안, 보안 모니터링, 웹 기반 및 API 기반 통합을 통한 허용 가능한 사용 제어가 포함됩니다.

  SSE에는 보안 웹 게이트웨이, 클라우드 보안 에이전트, 제로 트러스트 모델의 세 가지 주요 부분이 포함되어 있으며 이는 다양한 위험 해결에 해당합니다.

  • 보안 웹 게이트웨이는 직원을 연구에 사용할 수 있는 웹사이트 또는 기업의 공식 SaaS 애플리케이션이 아닌 클라우드 애플리케이션과 같은 공용 인터넷에 연결하는 데 도움이 됩니다.
  Cloud Access Security Broker는 직원을 Office 365 및 Salesforce와 같은 SaaS 애플리케이션에 연결합니다.
  • Zero Trust Network Access는 온프레미스 데이터 센터 또는 클라우드에서 실행되는 개인 기업 애플리케이션에 직원을 연결합니다.
  그러나 다른 SSE 공급업체는 위의 특정 링크에 집중할 수도 있고 특정 링크에 능숙할 수도 있습니다. 현재 해외 SSE의 주요 통합 역량으로는 SWG(Secure Network Gateway), ZTNA(Zero Trust Network Access), CASB(Cloud Access Security Broker), DLP(Data Loss Prevention) 등이 있지만 국내 구축은 미흡하다. 클라우드는 아직 초기 단계에 있어 유럽이나 미국만큼 완전하지 않습니다.
  ▲ 사진 출처 : Siyuan Business Consulting

  따라서 현 단계의 SSE 기능은 트래픽 탐지 프로브 기능, 웹 애플리케이션 보호 기능, 자산 취약성 검색, 터미널 관리 및 기타 기능과 같은 보다 전통적이고 현지화된 기능을 통합해야 합니다. 이러한 기능은 중국 고객이 상대적으로 선호하는 기능입니다. 이 단계에서는 더 필요합니다. 이러한 관점에서 SSE는 클라우드 기반 협업과 클라우드 네이티브 컨테이너의 기능을 사용하여 낮은 조달 비용, 신속한 배포, 보안 탐지 및 폐쇄 루프 운영과 같은 가치를 고객에게 제공해야 합니다.

  올해 대형 모델의 경우 업계 선두주자인 Netskope가 모델에서 보안 애플리케이션으로 전환하는 데 앞장섰습니다. 보안 팀은 자동화된 도구를 사용하여 기업 사용자가 액세스하려고 하는 애플리케이션(예: ChatGPT), 액세스 방법, 시기를 지속적으로 모니터링합니다. 액세스할 위치, 액세스 빈도 등. 각 애플리케이션이 조직에 제기하는 다양한 수준의 위험을 이해하고 시간이 지남에 따라 변경될 수 있는 분류 및 보안 조건을 기반으로 액세스 제어 정책을 실시간으로 구체화할 수 있는 능력이 있어야 합니다.

  간단히 이해하면 Netskope는 웹 페이지 탐색 및 링크 다운로드 시 경고 모드와 유사하게 ChatGPT 사용 시 위험을 식별하여 사용자에게 경고한다는 것입니다. 이 모델은 혁신적이지도 않고 매우 전통적이기도 하지만 사용자의 조작을 방해하는 데 가장 효과적입니다.

  ▲ 사진 출처 : 넷스코페 공식 홈페이지

  Netskope는 보안 플러그인 형태로 대형 모델에 연결되어 있습니다. 시연에서 운영자가 회사의 내부 재무 데이터를 복사하고 ChatGPT가 양식을 작성하도록 하려는 경우 경고 표시줄이 나타납니다. 보내기 전에 사용자에게 알림을 보냅니다.

  ▲ 사진 출처 : 넷스코페 공식 홈페이지

  실제로 대형 모델에서 숨겨진 위험을 식별하는 것은 트로이 목마 및 취약점을 식별하는 것보다 훨씬 더 어렵습니다. 정확성은 시스템이 생성 인공 지능을 기반으로 하는 애플리케이션을 통해 민감한 데이터(파일 및 붙여넣은 클립보드 텍스트 포함)를 모니터링하고 업로드하는 것을 방지하는 것입니다. ) 챗봇을 통해 무해한 쿼리 및 보안 작업을 차단하지 않고 식별이 모든 경우에 적용되는 것이 아니라 의미론적 이해와 합리적인 기준에 따라 조작 가능하다는 의미입니다.

  4. 사기 및 사기 방지: 디지털 워터마크 및 생체 인증 기술

  우선

  AI가 인간을 속이는 것과 AI를 이용해 인간을 속이는 것은 서로 다른 것이라는 점은 분명합니다.

  AI가 인간을 속이는 이유는 주로 대형 모델의 '교육'이 제대로 이루어지지 않기 때문입니다. 위에서 언급한 NVIDIA의 '가드레일 기술'과 OpenAI의 비지도 학습은 모두 AI 안전 링크에서 모델의 건강을 보장하기 위한 방법입니다.

  그러나 AI가 인간을 속이는 것을 방지하고 기본적으로 모델 훈련과 동기화하는 것은 대형 모델 회사의 임무입니다.

  사기를 위한 인간의 AI 기술 활용은 전체 네트워크 보안이나 사회보장 단계에 속한다. 우선 기술 대결로는 문제의 일부만 해결할 수 있다는 점을 분명히 해야 하며 이를 위해서는 여전히 감독, 입법 등이 필요하다. 범죄 위치를 통제합니다.

  현재 기술에 맞서 싸우는 방법은 두 가지가 있습니다. 하나는 AI가 생성한 콘텐츠에 디지털 워터마크를 추가하여 콘텐츠의 출처를 추적하는 것이고, 다른 하나는 다음과 같은 특수한 생체 인식 기능을 목표로 하는 애플리케이션 측면입니다. 보다 정확한 식별을 위해 얼굴로.

  디지털 워터마크는 디지털 매체에 식별 정보를 삽입할 수 있습니다. 매체에 특정 디지털 코드나 정보를 숨김으로써 매체의 변조 여부를 확인하고 판별할 수 있어 디지털 콘텐츠에 대한 눈에 보이지 않는 보호 메커니즘을 제공합니다.

  OpenAI는 이전에 모델 남용의 부정적인 영향을 줄이기 위해 ChatGPT에 워터마크를 추가하는 것을 고려한다고 밝혔습니다. Google은 올해 개발자 컨퍼런스에서 회사의 모든 AI 생성 이미지가 워터마크 에 삽입되도록 보장할 것이라고 밝혔습니다. 육안으로 인식할 수 있지만 Google 검색 엔진과 같은 소프트웨어는 이를 읽고 레이블로 표시하여 이미지가 AI에 의해 생성되었음을 사용자에게 상기시킬 수 있으며, Shutterstock 및 Midjourney와 같은 AI 애플리케이션도 이 새로운 레이블 지정 방법을 지원할 것입니다.

  현재는 전통적인 디지털 워터마크 외에도 딥러닝 기반의 디지털 워터마크도 진화했습니다. 심층 신경망을 사용하여 파괴성과 견고성에 강한 디지털 워터마크를 학습하고 내장하고 있습니다. 이 기술은 원본 이미지의 품질을 유지하면서 고강도, 내결함성이 뛰어난 디지털 워터마크 삽입을 달성할 수 있으며, 이미지 처리 공격 및 스테가나리시스 공격에 효과적으로 저항할 수 있는 차세대 기술 방향입니다.

  애플리케이션 측면에서 현재 가장 많이 사용되는 '사기 수법'은 얼굴 합성 동영상입니다. DeepFake(딥페이크 기술)를 기반으로 한 콘텐츠 탐지 플랫폼은 현재 솔루션 중 하나입니다.

  올해 1월 초, Nvidia는 FakeCatcher라는 소프트웨어를 출시했습니다. 이 소프트웨어는 최대 96%의 정확도로 동영상이 딥페이크인지 여부를 감지할 수 있다고 주장합니다.

  보도에 따르면 인텔의 FakeCatcher 기술은 체내 혈액 순환에 따른 정맥 색상의 변화를 식별할 수 있습니다. 그런 다음 얼굴에서 혈류 신호를 수집하고 알고리즘을 통해 변환하여 비디오가 진짜인지 딥페이크인지 식별합니다. 진짜 사람이라면 몸 안에는 항상 혈액이 순환하고 있고, 피부의 정맥도 주기적으로 바뀌지만, 딥페이크 사람들은 그렇지 않습니다.

  ▲ 사진출처 리얼AI 공식홈페이지

  유사한 기술적 원리를 기반으로 한 국내 스타트업 '리얼 AI'도 있습니다. 가짜 콘텐츠와 실제 콘텐츠의 표현 차이를 파악해 다양한 생성 방식을 통해 딥 페이크 콘텐츠의 일관성 특성을 마이닝할 수 있습니다.

  (2) 보안을 위한 AI: 성숙한 산업 체인의 새로운 기회

  아직 상대적으로 신흥 산업 기회인 AI용 보안과 달리 '보안용 AI'는 기존 보안 시스템의 변화와 강화에 더 가깝습니다.

  보안을 위한 AI의 첫 번째 기회는 여전히 마이크로소프트다. 마이크로소프트는 지난 3월 29일 오피스 제품군에 AI 기반 코파일럿 어시스턴트를 제공한 후 거의 즉시 보안 분야로 눈을 돌려 GPT-4 기반 세대의 새로운 AI를 출시했다. 솔루션 - Microsoft Security Copilot.

  Microsoft Security Copilot은 여전히 ​​AI 부조종사 개념에 중점을 두고 있습니다. 여기에는 새로운 보안 솔루션이 포함되지 않고 AI를 통해 원래의 엔터프라이즈 보안 모니터링 및 처리가 완전히 자동화된 프로세스가 포함됩니다.

  ▲ 사진 출처 마이크로소프트 공식 홈페이지

  Microsoft의 시연에 따르면 Security Copilot은 원래 몇 시간, 심지어 수십 시간이 걸리던 랜섬웨어 사고 처리를 몇 초로 줄여 기업 보안 처리 효율성을 크게 향상시킬 수 있습니다.

  Microsoft AI 보안 설계자 Chang Kawaguchi Kawaguchi는 "공격 건수는 증가하고 있지만 방어자의 힘은 다양한 도구와 기술에 분산되어 있습니다. Security Copilot이 운영 방식을 바꾸고 보안을 향상시킬 것으로 기대합니다"라고 말한 적이 있습니다. 도구와 기술의 실제 결과입니다.”

  현재 국내 보안업체인 Qi'anxin과 Sangfor도 이 분야의 발전을 따르고 있습니다. 현재 이 사업은 중국에서 아직 초기 단계에 있으며, 두 회사는 아직 구체적인 제품을 발표하지 않았지만 제때에 대응하고 국제 거대 기업을 따라잡는 것은 쉽지 않습니다.

  4월 Google Cloud는 RSAC 2023에서 Google의 대규모 보안 모델 Sec-PaLM을 기반으로 하는 확장 가능한 플랫폼인 Security AI Workbench를 출시했습니다. 기업은 Security AI Workbench를 통해 다양한 유형의 보안 플러그인에 액세스하여 특정 보안 문제를 해결할 수 있습니다.

  ▲ 출처 : 구글 공식 홈페이지

  Microsoft Security Copilot이 캡슐화된 개인 보안 보조 도구 세트라면 Google의 Security AI Workbench는 맞춤 설정 및 확장 가능한 AI 보안 도구 상자 세트입니다.

  간단히 말하면, 급변하는 네트워크 보안 형태에 맞서기 위해 AI를 활용해 자동화된 보안 운영 센터를 구축하는 것이 표준이 될 것입니다.

  메이저 헤드 제조사뿐 아니라 보안 분야에서도 대형 AI 모델 적용이 본격화되고 있습니다. 예를 들어 국내의 많은 보안업체들은 AI를 활용해 기존 보안 제품을 혁신하기 시작했다.

  예를 들어 Sangfor는 "AI + 클라우드 비즈니스" 논리를 제안하고 AIOps 지능형 차원 통합 기술을 출시했습니다. 이는 데스크톱 클라우드 로그, 링크 및 지표 데이터를 수집하고 결함 예측, 이상 탐지, 상관 추론 및 기타 알고리즘을 수행하여 사용자에게 제공합니다. 지능형 분석 서비스를 통해

  Shanshi Technology는 긍정적인 피드백 훈련과 비정상적인 행동 분석 측면에서 AI 기능을 머신 러닝 기능에 통합하여 행동 기준을 기반으로 한 학습을 ​​통해 위협과 이상 징후를 보다 정확하게 감지하고 거짓 부정성을 줄일 수 있습니다. 부정적인 피드백 훈련, 행동 훈련 실시, 행동 클러스터링, 행동 분류 및 위협 결정. 그 외에도 안보통처럼 보안 운영의 페인포인트 분석 등에 AI를 적용하는 기업도 있다.

  해외에서는 오픈 소스 보안 공급업체인 Armo가 자연어를 통해 Kubernetes 클러스터에 대한 맞춤형 보안 제어 구축을 목표로 ChatGPT 통합을 출시했습니다. 클라우드 보안 공급업체 오르카 시큐리티(Orca Security)는 솔루션에서 생성된 보안 경고를 처리하고 사용자에게 데이터 위반 사고를 관리하기 위한 단계별 해결 지침을 제공할 수 있는 자체 ChatGPT 확장 프로그램을 출시했습니다.

  물론 성숙하고 거대한 산업 체인으로서 보안을 위한 AI의 기회는 이보다 훨씬 더 많습니다. 보안 분야에서 더 깊고 더 큰 기회는 여전히 싸우고 있는 기업의 실천을 통해 탐구되어야 합니다. 보안의 최전선에서.

  더 중요한 것은 위의 회사들이 현실을 유지하고 원래의 열망을 결코 잊지 않기를 바랍니다. 광활함과 하늘에 대한 꿈을 차근차근 실천적인 행동으로 옮겨보세요. 개념을 만들어 바람을 잡지 말고, 자본과 뜨거운 돈을 수용하고 깃털만 남기지 마십시오.

  결론

  인터넷이 탄생한 지 10년이 지나면서 네트워크 보안의 개념과 산업 사슬이 구체화되기 시작했습니다.

  그리고 빅모델이 나온지 반년이 지난 오늘, 빅모델의 안전과 사기방지가 거리의 화두가 되었습니다. 이는 기술의 가속화된 발전과 반복을 통해 '인간 의식'에 내장된 방어 메커니즘으로, 시대가 발전함에 따라 더욱 빠르게 촉발되고 피드백될 것입니다.

  오늘의 혼란과 공황은 끔찍한 것이 아니라 다음 시대의 발걸음입니다.

  "인류의 간략한 역사"에 명시된 바와 같이: 인간의 행동은 항상 이성에 근거한 것은 아니며, 우리의 결정은 감정과 직관의 영향을 받는 경우가 많습니다. 그러나 이것이 진보와 발전의 가장 중요한 부분입니다.

위 내용은 10,000 단어의 긴 기사丨AI 보안 산업 체인, 솔루션 및 창업 기회 해체의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!