사이버 보안을 강화하기 위해 AI 챗봇과 대규모 언어 모델을 구축하는 6가지 방법

위험 관점에서 생성형 AI 챗봇과 대규모 언어 모델은 양날의 검이 될 수 있지만 올바르게 사용하면 주요 방식으로 사이버 보안을 향상시킬 수도 있습니다.

OpenAI가 개발한 ChatGPT의 급격한 상승은 올해의 가장 큰 뉴스 중 하나이며, 생성 AI 챗봇과 대규모 언어 모델이 사이버 보안에 미치는 잠재적 영향이 핵심 논의 영역입니다. 고급 자가 학습 알고리즘을 사용하여 중요한 비즈니스 정보를 공유하는 것에 대한 우려부터 이를 사용하여 공격을 크게 강화하는 악의적인 행위자에 이르기까지 이러한 새로운 기술이 초래할 수 있는 보안 위험에 대해 많은 논의가 있습니다.

일부 국가, 주 및 기업에서는 데이터 보안, 보호 및 개인 정보 보호를 이유로 ChatGPT와 같은 생성 인공 지능 기술의 사용을 금지했습니다. 분명히 생성 AI 챗봇과 대규모 언어 모델로 인해 발생하는 보안 위험은 상당합니다. 그러나 생성 AI 챗봇이 기업의 사이버 보안을 강화하여 보안 팀이 사이버 범죄에 맞서 싸우는 데 꼭 필요한 역량을 강화할 수 있는 방법은 많습니다.

생성 AI 챗봇과 대규모 언어 모델이 보안을 향상할 수 있는 6가지 방법은 다음과 같습니다.

취약점 검색 및 필터링

대규모 언어 모델이 사이버 보안에 미치는 영향을 조사한 CSA(Cloud Security Alliance) 보고서에 따르면 생성적 AI 모델을 사용하여 보안 취약성의 검색 및 필터링을 크게 향상할 수 있다고 합니다. CSA(Cloud Security Alliance)는 이 논문에서 OpenAI의 Codex API가 C, C#, Java, JavaScript와 같은 프로그래밍 언어에 대한 효과적인 취약점 스캐너임을 입증했습니다. "우리는 Codex 제품군과 같은 대규모 언어 모델이 미래에 취약성 스캐너의 표준 부분이 될 것이라고 예상할 수 있습니다."라고 논문은 읽습니다. 예를 들어, 다양한 언어로 된 안전하지 않은 코드 패턴을 감지하고 표시하도록 스캐너를 개발하면 개발자가 심각한 보안 위험이 되기 전에 잠재적인 취약성을 해결할 수 있습니다.

필터링의 경우 생성 AI 모델은 인간 보안 담당자가 놓칠 수 있는 위협 식별자에 귀중한 시나리오를 해석하고 추가할 수 있습니다. 예를 들어 MITRATT&CK 프레임워크의 기술 식별자 TT1059.001이 보고될 수 있지만 일부 사이버 보안 전문가에게는 익숙하지 않으므로 간단한 설명이 필요합니다. ChatGPT는 코드를 MITRATT&CK 식별자로 정확하게 식별하고 악성 PowerShell 스크립트 사용과 관련된 특정 문제에 대한 설명을 제공할 수 있습니다. 또한 PowerShell의 특성과 사이버 보안 공격에서의 잠재적인 사용에 대해 자세히 설명하고 관련 사례를 제공합니다.

올해 5월 OXSecurity는 개발자가 해커가 코드를 악용하는 방법을 포함하여 맞춤형 코드 수정 권장 사항 및 잘라내어 붙여넣기 코드 수정을 제공할 수 있도록 설계된 ChatGPT 통합인 OX-gpt의 출시를 발표했습니다. 공격이 미칠 수 있는 영향과 조직에 대한 잠재적 피해.

추가 기능 반전, PE 파일의 API 분석

DeepInstinct 네트워크 인텔리전스 엔지니어링 관리자인 Matt Fulmer는 IDA 및 Ghidra와 같은 리버스 엔지니어링 프레임워크를 기반으로 생성 인공 지능/대형 언어 모델(LLM)이 있다고 말했습니다. 기술을 사용하여 규칙을 구축하고 인기 있는 추가 기능을 되돌릴 수 있습니다. "필요 사항을 명확히 하고 이를 MITRE의 공격 및 공격 전략과 비교하면 결과를 오프라인으로 가져와 방어로 더 잘 사용할 수 있습니다."

llm은 앱 통신, 휴대용 실행 파일(PE) 분석을 통해 사용할 수도 있습니다. ) API를 설명하고 그것이 무엇에 사용되는지 알려준다고 그는 덧붙였습니다. "이를 통해 보안 연구원이 PE 파일을 보고 파일 내의 API 통신을 분석하는 데 소요되는 시간을 줄일 수 있습니다."

위협 검색 쿼리

CSA에 따르면 보안 방어자는 위협 검색 쿼리를 생성하여 효율성을 높이고 대응 속도를 높일 수 있습니다. 타임스. YARA와 같은 맬웨어 연구 및 탐지 도구에 대한 쿼리를 생성함으로써 ChatGPT는 잠재적인 위협을 신속하게 식별하고 완화하여 방어자가 사이버 보안 노력의 중요한 측면에 집중할 수 있도록 돕습니다. 이 기능은 진화하는 위협 환경에서 강력한 보안 태세를 유지하는 데 매우 귀중한 것으로 입증되었습니다. 조직이 해당 환경에서 탐지하거나 모니터링하려는 특정 요구 사항과 위협을 기반으로 규칙을 사용자 정의할 수 있습니다.

AI는 공급망 보안을 향상할 수 있습니다.

생성 AI 모델은 공급업체의 잠재적 취약성을 식별하여 공급망 보안 위험을 해결할 수 있습니다. 올해 4월 SecurityScorecard는 OpenAI의 GPT-4 시스템과 자연어 글로벌 검색을 통합하여 이러한 목표를 달성하는 새로운 보안 평가 플랫폼의 출시를 발표했습니다. 회사에 따르면 고객은 공급업체 세부 정보를 포함하여 비즈니스 생태계에 대해 개방형 질문을 하고 위험 관리 결정을 내리는 데 필요한 답변을 신속하게 받을 수 있습니다. 예를 들어, "최저 등급 공급업체 10개 찾기" 또는 "내 주요 공급업체 중 지난 해에 손상을 입은 업체 표시" 등 SecurityScorecard는 이러한 질문이 팀이 신속하게 위험 관리 결정을 내릴 수 있도록 하는 결과를 제공할 것이라고 주장합니다.

공격에서 생성된 AI 텍스트 감지

CSA에 따르면 대규모 언어 모델은 텍스트를 생성할 뿐만 아니라 이메일 보호 소프트웨어의 일반적인 기능이 될 수 있는 AI 생성 텍스트를 감지하고 워터마킹하는 작업도 수행합니다. CSA는 공격에서 AI 생성 텍스트를 식별하면 피싱 이메일과 다형성 코드를 탐지하는 데 도움이 될 수 있으며, LLM이 비정형 이메일 주소 발신자 또는 해당 도메인을 쉽게 탐지하는 동시에 텍스트의 기본 레이어를 검사할 수 있다고 가정할 수 있다고 밝혔습니다. 링크가 알려진 악성 웹사이트로 연결되는지 여부.

보안 코드 생성 및 전송

ChatGPT와 같은 llm을 사용하여 보안 코드를 생성하고 전송할 수 있습니다. CSA는 회사 내 여러 직원을 성공적으로 표적으로 삼아 잠재적으로 이들의 자격 증명을 노출시킨 피싱 캠페인의 예를 인용했습니다. 어떤 직원이 피싱 이메일을 열었는지는 알려져 있지만, 이들이 자신의 자격 증명을 도용하도록 설계된 악성 코드를 실수로 실행했는지 여부는 확실하지 않습니다.

이 문제를 조사하려면 Microsoft365Defender 고급 검색 쿼리를 사용하여 알려진 악성 이메일을 받은 후 30분 이내에 이메일 수신자가 수행한 최근 10개의 로그인 이벤트를 찾을 수 있습니다. 이 쿼리는 손상된 자격 증명과 관련될 수 있는 의심스러운 로그인 활동을 식별하는 데 도움이 됩니다. ”

여기에서 ChatGPT는 손상된 이메일 계정에 대한 로그인 시도를 확인하기 위해 Microsoft365Defender 검색 쿼리를 제공할 수 있습니다. 이를 통해 공격자가 시스템에 진입하는 것을 막고 사용자가 암호를 변경해야 하는지 여부를 명확히 할 수 있습니다. 이는 사이버 사고 중에 발생합니다.

동일한 예를 기반으로 하면 동일한 문제가 발생할 수 있으며 Microsoft365Defender 조회 쿼리를 찾을 수 있지만 시스템은 올바른 예를 검색하는 대신 KQL 프로그래밍 언어 스타일을 사용하지 않습니다.

그는 이렇게 말했습니다. “이 예는 ChatGPT의 기본 Codex 모델이 소스 코드 예를 가져와 다른 프로그래밍 언어로 생성할 수 있음을 보여줍니다. 또한 제공되는 답변에 주요 세부 정보와 새로운 생성 방법론을 추가하여 최종 사용자를 위한 프로세스를 단순화합니다. ”

CSA에 따르면 보안 방어자는 ChatGPT 및 기타 LLM을 활용하여 위협 검색 쿼리를 생성하여 YARA와 같은 맬웨어 연구 및 탐지 도구에 대한 쿼리를 생성함으로써 효율성을 높이고 응답 시간을 단축할 수 있습니다. 잠재적인 위협을 완화하여 방어자가 사이버 보안 노력의 중요한 측면에 집중할 수 있도록 합니다. 이는 끊임없이 진화하는 위협 환경에서 강력한 보안 상태를 유지하는 데 매우 귀중한 기능입니다. 조직이 탐지하거나 원하는 특정 요구 사항과 위협에 맞게 규칙을 조정합니다.

AI는 공급망 보안을 향상시킬 수 있습니다.

생성 AI 모델은 공급망 보안 위험을 식별하여 이를 해결할 수 있습니다. 올해 4월 SecurityScorecard는 새로운 보안 등급 출시를 발표했습니다. OpenAI의 GPT-4 시스템과 자연어 글로벌 검색을 통합하여 이 목표를 달성하는 플랫폼으로, 회사에 따르면 고객은 공급업체 세부 정보를 포함한 생태계 개방형 질문을 질문하고 신속하게 답변을 얻어 위험 관리 결정을 내릴 수 있습니다. 예를 들어 "가장 낮은 등급을 받은 공급업체 10곳을 찾아보세요." 또는 "1년 동안 해킹당한 주요 공급업체가 누구인지 보여주세요." SecurityScorecard는 이러한 질문을 통해 팀이 신속한 위험 관리 결정을 내릴 수 있다고 주장합니다.

공격에서 생성된 AI 텍스트 탐지

CSA에 따르면 대규모 언어 모델은 텍스트를 생성할 뿐만 아니라 이메일 보호 소프트웨어 식별의 일반적인 기능이 될 수 있는 AI 생성 텍스트를 탐지하고 워터마킹하는 작업도 수행합니다. 공격 시 생성된 텍스트는 피싱 이메일과 다형성 코드를 탐지하는 데 도움이 될 수 있다고 CSA는 말했습니다. LLM은 비정형 이메일 주소 발신자 또는 해당 도메인을 쉽게 탐지하는 동시에 텍스트의 기본 링크가 다음을 가리키는지 확인할 수 있다고 가정할 수 있습니다. 알려진 악성 웹사이트

보안 코드 생성 및 전송

. ChatGPT와 같은 LLM은 보안 코드를 생성하고 전송하는 데 사용될 수 있습니다. CSA는 회사 내 여러 직원을 대상으로 한 피싱 캠페인의 예를 인용했습니다. 어떤 직원이 피싱 이메일을 켰는지 알고 있음에도 불구하고 자격 증명을 훔치도록 설계된 악성 코드를 실수로 실행했는지는 확실하지 않습니다.

이 문제를 조사하려면 Microsoft 365 Defender 고급 검색 쿼리를 사용하여 다음과 같은 이메일 수신자를 찾을 수 있습니다. 알려진 이메일을 받았습니다. 이 쿼리는 손상된 자격 증명과 관련될 수 있는 의심스러운 로그인 활동을 식별하는 데 도움이 됩니다."

여기에서 ChatGPT는 Microsoft365Defender 검색 쿼리를 제공할 수 있습니다. 손상된 이메일 계정의 로그인 시도를 확인하여 공격자가 시스템에 진입하는 것을 방지하고 사용자가 비밀번호를 변경해야 하는지 여부를 명확히 합니다. 이는 사이버 사고 대응 중 조치 시간을 단축한 좋은 예입니다.

동일한 예를 바탕으로 동일한 문제가 발생하고 Microsoft365Defender 조회 쿼리를 찾을 수 있지만 시스템이 KQL 프로그래밍 언어를 사용하지 않습니다. 원하는 언어에서 올바른 예제를 검색하는 대신 프로그래밍 언어 스타일 전환을 수행할 수 있습니다.

“이 예는 ChatGPT의 기본 Codex 모델이 소스 코드 예를 가져와 다른 프로그래밍 언어로 생성하는 방법을 보여줍니다. 또한 제공되는 답변에 주요 세부 정보와 새로운 생성 방법을 추가하여 최종 프로세스를 단순화합니다. “리더는 생성형 AI 챗봇의 안전한 사용을 보장해야 합니다

Gigamon의 최고 전략 책임자인 Chaim Mazal은 위험 관점에서 볼 때 AI와 대규모 언어 모델은 양날의 검이므로 리더는 다음과 같이 말했습니다. 팀이 이러한 제품을 안전하고 안정적으로 사용하고 있는지 확인해야 합니다. "보안팀과 법률팀은 조직이 지적 재산이나 보안을 침해하지 않고 이러한 기술의 기능을 활용할 수 있는 최선의 길을 찾기 위해 협력해야 합니다."

Fulmer는 생성 AI가 오래된 구조화된 데이터를 기반으로 해야 한다고 말했습니다. 보안 및 방어 분야의 애플리케이션을 평가할 때 출발점으로 사용됩니다. 예를 들어 위의 이점 중 하나에 사용되는 경우 해당 출력이 정당화되어야 합니다. 출력을 오프라인으로 전환하여 사람들이 출력을 더 좋고, 더 정확하고, 더 실행 가능하게 만들 수 있도록 하세요. ”

시간이 지남에 따라 생성적 AI 챗봇/대규모 언어 모델은 결국 자연스럽게 보안 및 방어 기능을 향상시키겠지만, AI/대규모 언어 모델을 활용하여 사이버 보안 태세를 해치기보다는 도움을 주고 궁극적으로 내부 커뮤니케이션 및 방어 능력으로 귀결될 것입니다. Mazal은 "생성 AI/대규모 언어 모델은 이해관계자가 보안 문제를 더 빠르고 효과적인 방식으로 포괄적으로 해결할 수 있도록 하는 수단이 될 수 있습니다."라고 말했습니다. 리더는 잠재적인 위협에 대해 교육하는 동시에 조직의 목표를 지원하기 위해 도구를 활용할 수 있는 방법을 전달해야 합니다. "

인공지능 기술 이사이자 TovieAI의 CEO인 Joshua Kaiser는 위협에 대한 효과적인 방어를 유지하려면 인공지능 챗봇도 정기적으로 업데이트해야 하며, 대규모 언어 모델의 정상적인 작동을 보장하려면 인간의 감독이 중요하다고 말했습니다. 그는 "게다가 대규모 언어 모델은 정확한 대응을 제공하고 보안 문제를 포착하기 위해 시나리오를 이해해야 하며 잠재적인 약점이나 취약점을 식별하기 위해 정기적으로 테스트 및 평가해야 한다"고 말했습니다. ”

위 내용은 사이버 보안을 강화하기 위해 AI 챗봇과 대규모 언어 모델을 구축하는 6가지 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!