챗봇은 지식 그래프를 통해 질문에 어떻게 답변하나요?

머리말

튜링은 1950년 획기적인 논문 "컴퓨팅 기계와 지능"을 발표하여 로봇에 대한 유명한 판단 원리를 제안했습니다. 그래프라고도 알려진 튜링 테스트입니다. 영적 판단은 제3자가 구별할 수 없는 경우를 지적합니다. 인간과 AI 기계의 반응 차이를 보면 기계가 인공지능을 갖고 있다는 결론을 내릴 수 있다.

2008년, 마블 '아이언맨'의 AI 집사 자비스는 AI가 어떻게 인간(토니)에게 던져진 다양한 문제를 해결하도록 정확하게 도울 수 있는지 알려준다...

그림 1: AI 집사 자비스(인터넷 사진 출처)

2023년 초, 2C 방식으로 기술 산업에서 등장한 무료 채팅 로봇인 ChatGPT가 전 세계로 확산되었습니다.

UBS의 연구 보고서에 따르면 UBS의 월간 활성 사용자는 1월에 1억 명에 이르렀으며 여전히 역사상 가장 빠르게 성장하는 소비자 애플리케이션이 되었습니다. 또한, 소유주인 OpenAI는 월 42달러의 Pro 버전을 출시한 데 이어 곧 월 20달러 정도의 가격으로 제공되는 Plus 버전을 출시할 예정입니다.

새로운 것이 수억 명의 월간 활성 사용자를 보유하고 트래픽이 증가하며 상업적인 수익화를 시작할 때 그 뒤에 숨겨진 다양한 기술이 궁금하십니까? 예를 들어, 챗봇은 대량의 데이터를 어떻게 처리하고 쿼리합니까?

ChatGPT를 경험한 친구들도 같은 느낌을 갖고 있습니다. Tmall Elf나 Xiao Aitong Shoes보다 확실히 더 지능적입니다. 자연어 처리 도구와 대규모 언어 모델을 갖춘 "무적의 말하기 능력"을 갖춘 채팅 로봇입니다. . 역시 인공지능 애플리케이션이다. 질문 자료의 맥락을 바탕으로 인간과 상호 작용할 수 있고, 완전한 의인화 된 의사소통뿐만 아니라 부적절하다고 판단되는 질문을 추론하고 생성할 수도 있으며 심지어 거부할 수도 있습니다.

현재는 엇갈린 평가가 있지만 기술 발전의 관점에서 보면 튜링 테스트를 통과할 수도 있습니다. 물어보자, 우리가 소통할 때 (초보자의 경우) 폭넓은 지식과 달콤하고 달콤한 답변을 우리가 전혀 알지 못하면 상대방이 인간인지 기계인지 구별하기 어렵다(

아마도) 이것이 위험한 곳입니다. ChatGPT의 핵심은 여전히 ​​딥 러닝 범주에 속하며 블랙박스가 많고 설명할 수 없는 부분이 많습니다 ).

그렇다면 챗봇은 어떻게 3000억 단어와 1750억 매개변수로부터 학습 자료를 신속하게 구성하고 출력하는 동시에 컨텍스트를 결합하고 자신이 "마스터"하는 지식을 기반으로 할 수 있습니까? 인간과 자유롭게 상호작용할 수 있는 능력?

사실 챗봇에도 두뇌가 있습니다. 인간과 마찬가지로 학습과 훈련이 필요합니다.

그림 2: ChatGPT 학습 훈련 차트(출처 공식 웹사이트)

NLP(자연어 처리), 대상 인식, 다중 모달을 통해 대용량 텍스트, 그림 및 기타 비정형 파일을 처리합니다. 인식 등은 의미에 따라 지식 그래프로 구성됩니다. 이 지식 그래프는 채팅 로봇의 두뇌입니다.

그림 3: 의료를 예로 들면, 인공 지능은 여러 소스의 데이터를 질문 및 답변, 검색, 약물 연구 및 개발 등과 같은 시나리오에 대한 지식 그래프로 변환합니다.

지식 그래프는 무엇으로 구성되나요?

지식 그래프는 무엇으로 구성되나요? 포인트(개체)와 엣지(관계)로 구성되어 있으며, 아래와 같이 사람, 사물, 사물 및 기타 관련 정보를 통합하여 포괄적인 다이어그램을 구성할 수 있습니다.

그림 4: 문자 포인트와 속성 가장자리로 구성된 그래프(하위 그래프)

"OpenAI의 창시자가 누구입니까?"라고 물으면 챗봇의 두뇌는 자체 지식 베이스에서 빠르게 검색하고 찾기 시작합니다. 먼저 사용자의 질문에서 대상 을 잠그고 "penAI"을 클릭합니다. 그런 다음 사용자의 질문에 따라 또 다른 point이 연결되었습니다. 창립자 "Sam Altman"입니다.

그림 5: "OpenAI" 지점에서 엣지를 통해 다른 지점 "Sam Altman"으로 연결

실제로 "OpenAI의 창시자는 누구입니까?"라고 언급하면 ​​챗봇은 모든 자체 지식 기반에서 point을 둘러싼 사진입니다. 그러므로 우리가 관련된 질문을 하면 이미 우리의 예측이 예측되었습니다. 예를 들어, "Musk는 OpenAI의 창립 팀원입니까?"라고 질문하면 아래 그림과 같이 명령 하나만으로 이미 모든 구성원(천 개 중 하나 복제)을 쿼리했습니다.

그림 6: "OpenAI"를 클릭하여 다른 캐릭터에 연결

또한 라이브러리에 다른 "학습 자료"가 포함된 경우 "뇌"에도 있습니다. 아래와 같이 "인공지능 로봇의 제품은 무엇인가요?"와 같은 관련 사진을 보실 수 있습니다.

그림 7: 일반적인 AI 로봇 제품 맵

물론, 챗봇도 사람과 마찬가지로 아래 그림과 같이 자체 지식 보유량에 따라 질문에 답변하는 데 제한이 있습니다.

사람의 두뇌가 빠른지 똑똑한지를 결정하는 것이 무엇인지 아시나요? 인간의 관점에서 볼 때 가장 간단한 기준 중 하나는 하나의 사례에서 추론을 이끌어내는 능력입니다.

Zi는 다음과 같이 말했습니다. "화내지 않으면 깨달을 수 없고, 두려워하지 않으면 화내지 않습니다. 세 가지 방식으로 반응하지 않으면 결코 회복되지 않습니다. 이전에 공자는." 한 사례에서 추론을 도출하고, 한 사례에서 다른 사례로 추론을 이끌어내고, 유사점을 도출할 수 있는 능력의 중요성을 강조했습니다. 챗봇의 경우 답변의 품질은 지식 그래프 구축의 컴퓨팅 파워

에 따라 달라집니다.

우리는

일반 지식 그래프의 구축이 오랫동안 NLP 및 시각적 표현에 중점을 두었지만 계산 적시성, 데이터 모델링 유연성, 쿼리(계산) 프로세스 및 결과 해석 가능성과 같은 문제를 무시했다는 것을 알고 있습니다. 특히 전 세계가 빅데이터 시대에서 딥데이터 시대로 변화하고 있는 가운데, 과거 SQL이나 NoSQL을 기반으로 구축한 기존 그래프의 단점으로는 더 이상 거대하고 복잡하며 동적인 데이터를 효율적으로 처리할 수 없다. 상관 관계, 마이닝 및 통찰력 분석? 그렇다면 전통지식 그래프가 직면한 과제의 특징은 무엇인가?

첫째, 낮은 컴퓨팅 성능(비효율). SQL 또는 NoSQL 데이터베이스 시스템을 사용하여 구축된 지식 그래프의 기본 아키텍처는 비효율적이며 고차원 데이터를 고속으로 처리할 수 없습니다.

둘째, 유연성이 안좋습니다. 관계형 데이터베이스, 문서 데이터베이스 또는 저성능 그래프 데이터베이스를 기반으로 구축된 지식 그래프는 일반적으로 기본 아키텍처에 의해 제한되며 엔터티 간의 실제 관계를 효율적으로 복원할 수 없습니다. 예를 들어, 일부는 다변 그래프 데이터를 입력할 때 정보가 쉽게 손실되거나 그래프를 구성하는 데 비용이 많이 듭니다.

세 번째는 겉모습일 뿐입니다. 2020년 이전에는 기본 컴퓨팅 성능에 관심을 가진 사람이 거의 없었으며 거의 ​​모든 지식 그래프 시스템 구축은 NLP 및 시각화에만 중점을 두었습니다. 근본적인 컴퓨팅 능력이 없는 지식 그래프는 온톨로지와 트리플의 추출과 구성에 관한 것일 뿐, 심층 질의, 속도, 해석 가능성 등의 문제를 해결할 수 있는 능력은 없습니다.

[참고: 여기서는 기존 관계형 데이터베이스와 그래프 데이터베이스 간의 성능 비교에 대해 이야기하지 않습니다. 관심 있는 독자는 다음을 읽을 수 있습니다. ​​그래프 데이터베이스와 관계형 데이터베이스의 차이점​​ ? 그래프 데이터베이스는 어떤 문제를 해결하나요? ​]

지금까지 채팅 로봇의 지능형 지식 그래프에 대한 주제와 또 다른 최첨단 기술인 그래프 데이터베이스(그래프 컴퓨팅)의 기술 분야에 대해 이야기했습니다.

그래프 데이터베이스(그래프 컴퓨팅)란 무엇인가요?

그래프 데이터베이스[참고 1 참조]는 엔터티의 속성 정보와 엔터티 간의 관계 정보를 저장할 수 있는 응용 그래프 이론입니다. 노드 포인트 [참조 2 참조] 및 가장자리 [참조 2 참조]로 정의된 데이터 구조입니다. 그래프는 지식 그래프 저장 및 응용 서비스의 기반입니다. 강력한 데이터 연관성과 지식 표현 능력을 갖추고 있어 학계와 업계에서 높은 평가를 받고 있습니다.

그림 8: 마케팅, 범죄 수사, 금융 감독, 교육 생태학, 공중 보건 및 에너지 분야의 그래프 데이터베이스 및 지식 그래프의 응용 시나리오

위 그림과 같이, 실시간 그래프 데이터베이스(그래프 컴퓨팅) 엔진의 도움으로 업계는 실시간으로 다양한 데이터 간의 깊이 관련된 다양한 관계를 찾을 수 있으며 심지어 인간의 손이 닿지 않는 최적의 지능적 방법까지 찾을 수 있음을 알 수 있습니다. 두뇌—— 이는 그래프 데이터베이스의 높은 차원성 때문입니다.

고차원성이란 무엇인가요? 그래프는 인간 두뇌의 사고 습관에 부합하고 현실 세계를 직관적으로 모델링할 수 있는 도구일 뿐만 아니라 깊은 통찰력(심층 그래프 순회)을 확립할 수도 있습니다.

예를 들어, 방대한 데이터와 정보 속에서 겉보기에 관련이 없어 보이는 둘 이상의 개체 사이의 미묘한 관계를 포착하는 "나비 효과"는 누구나 알고 있습니다. 이것은 데이터 처리 아키텍처의 관점에서 볼 때 매우 그렇습니다. 그래프 데이터베이스(그래프 컴퓨팅) 기술의 도움 없이는 달성하기 어렵습니다. [참고: 그래프 데이터베이스와 그래프 컴퓨팅을 구별하는 방법에 대한 주제는 여기서 논의되지 않습니다. 관심 있는 친구는 다음을 읽을 수 있습니다. "그래프"의 과제는 무엇입니까? 그래프 데이터베이스와 그래프 컴퓨팅을 구별하는 방법은 무엇입니까? 하나의 기사로 빠른 설명】

그림 9: 지난 40년 동안 데이터 처리 기술의 발전 추세는 관계형 데이터에서 빅 데이터, 그래프 데이터로 이어졌습니다.

위험 제어는 다음 중 하나입니다. 전형적인 시나리오. 2008년 금융위기는 미국 4위의 투자은행인 리먼 브라더스의 파산으로 촉발됐다. 그러나 158년 역사를 지닌 투자은행의 파산이 잇따른 국제사회의 실패를 촉발할 것이라고는 누구도 예상하지 못했다. 은행업계.. 그 영향력이 너무 광범위하고 커서 사람들이 예측할 수 없을 정도로 실시간 그래프 데이터베이스(그래프 컴퓨팅) 기술은 위험의 핵심 노드, 위험 요소 및 위험 전파 경로를 모두 찾아낼 수 있습니다. .그리고 통제 모든 재정적 위험에 대해 사전 경고를 제공합니다.

그림 10: 리먼 브라더스 파산 전파 경로 및 리스크 고객군 지도

[참고: 위 구성은 모두 Ultipa Manager에서 작성되었습니다. 더 많이 배우고 탐구하려는 친구는 다음 기사 시리즈 중 하나를 읽을 수 있습니다: Ultipa Manager의 높은 시각화 시작】

요즈음 많은 제조사들이 지식 그래프를 구축할 수 있지만 현실은 100개 그래프 회사 중 5개 미만(5% 미만)만이 컴퓨팅 성능을 지원하기 위해 (고성능) 그래프 데이터베이스를 사용하고 있다는 점입니다. .

Ultipa는 현재 세계 유일의 4세대 실시간 그래프 데이터베이스입니다. 고밀도 동시성, 동적 가지치기, 다단계 저장 및 계산 가속 등 혁신적인 특허 기술을 통해 데이터의 슈퍼 처리를 달성합니다. 실시간으로 심층적으로 드릴다운할 수 있습니다.

첫째, 높은 컴퓨팅 성능.

회사의 최종 수혜자(실제 지배인 및 대주주라고도 함)를 예로 들어보겠습니다. 이러한 유형의 문제에 대한 문제점은 실제 세계에서 최종 수익자와 조사 대상 기업 사이에 많은 노드(껍질 회사 기업)가 있거나 여러 자연인 또는 기업 간에 여러 투자 또는 지분 보유 경로가 있을 수 있다는 것입니다. 다른 회사에 대한 통제. 기존의 관계형 데이터베이스나 문서 데이터베이스, 심지어 대부분의 그래프 데이터베이스도 이러한 종류의 그래프 침투 문제를 실시간으로 해결할 수 없습니다.

Ultipa 실시간 그래프 데이터베이스 시스템은 위의 많은 문제를 해결합니다. 높은 동시성 데이터 구조와 고성능 컴퓨팅 및 스토리지 엔진은 다른 그래프 시스템보다 100배 이상 빠른 심층 마이닝을 수행할 수 있으며, 실시간(마이크로초 이내) 네트워크에서 궁극적인 수혜자를 찾거나 막대한 투자 관계를 발견할 수 있습니다. 반면, 마이크로초 대기 시간은 더 높은 동시성과 시스템 처리량을 의미하며, 이는 밀리초 대기 시간을 요구하는 시스템에 비해 성능이 1000배 향상됩니다!

실제 시나리오를 예로 들면서 중국 CITIC 은행의 전 총재인 Sun Deli는 재정적 수단을 사용하여 여러 "그림자 회사"를 개설하여 혜택 이전을 완료했습니다.

그림 11: Sun Deshun은 매우 복잡한 구조의 여러 "방화벽"을 설계했으며, 감독을 우회하고 이익을 얻기 위해 여러 레이어의 섀도우 회사가 계층별로 중첩되어 있습니다.

그림 12 : 관련 항목: Sun Deshun - CITIC Bank - Business Owner - (Shell Company) 투자 플랫폼 회사 - Sun Deshun

위 그림과 같이, Sun Deshun은 CITIC Bank을 사용합니다.' 공기업 권한은 사업주에게 있으며 이에 따라 사업주는 양 당사자가 투자라는 명목으로 고품질의 투자 프로젝트, 투자 기회 등을 제공할 수 있습니다. 직접 거래를 완료하거나 사업주가 실제로 Sun Deshun이 관리하는 투자 플랫폼 회사에 막대한 자금을 투입한 후 플랫폼 회사가 이 자금을 사용하여 상사가 제공하는 프로젝트에 투자합니다. 돈으로 돈을 벌고 모두가 함께 일하며 이익과 배당금을 공유하고 궁극적으로 이익공동체를 형성합니다. 울티파 실시간 그래프 데이터베이스 시스템은 화이트박스 침투를 통해 사람과 사람, 사람과 회사, 회사와 회사 사이의 복잡한 관계를 발굴하고, 막후의 최종 인물을 실시간으로 가둬둔다.

둘째, 유연성.

그래프 시스템의 유연성은 일반적으로 데이터 모델링, 쿼리 및 계산 논리, 결과 표시, 인터페이스 지원, 확장성 등을 포함하는 매우 광범위한 주제가 될 수 있습니다.

데이터 모델링은 모든 관계형 그래프의 기초이며 그래프 시스템(그래프 데이터베이스)의 기본 기능과 밀접한 관련이 있습니다. 예를 들어, ClickHouse와 같은 컬럼 데이터베이스를 기반으로 구축된 그래프 데이터베이스 시스템은 거래 네트워크의 가장 일반적인 특징이 두 계좌 간의 다중 이체이기 때문에 금융 거래 그래프를 전혀 전달할 수 없지만 ClickHouse는 여러 이체를 하나로 병합하는 경향이 있습니다. 접근 방식은 데이터 혼란(왜곡)을 초래할 수 있습니다. 단면 그래프 개념을 기반으로 구축된 일부 그래프 데이터베이스 시스템은 트랜잭션을 표현하기 위해 정점(엔티티)을 사용하는 경향이 있으며, 이로 인해 데이터 양이 증폭되고(저장소 낭비) 그래프 쿼리의 복잡성이 기하급수적으로 증가합니다(적시성). 변경). 차이점).

인터페이스 지원 수준은 사용자 경험과 관련이 있습니다. 간단한 예를 들자면, 프로덕션 환경의 그래프 시스템이 CSV 형식만 지원하는 경우 모든 데이터 형식을 CSV 형식으로 변환해야 그래프에 포함할 수 있지만 이는 분명히 효율성이 너무 낮습니다. 기존의 많은 그래프 시스템에서.

쿼리 및 계산 논리의 유연성은 어떻습니까? 여전히 "나비 효과"를 예로 들어 보겠습니다. 지도에 있는 두 사람, 사물 또는 사물 사이에 일종의 인과(강한 상관 관계) 효과가 있습니까? 단순한 1단계 상관관계라면 기존의 검색엔진이나 빅데이터 NoSQL 프레임워크, 심지어 관계형 데이터베이스라도 해결할 수 있지만, 뉴턴과 징기스칸의 상관관계처럼 깊은 상관관계라면 어떻게 계산해야 할까요? ? 모직물?

Ultipa 실시간 그래프 데이터 시스템은 위의 문제를 해결하는 여러 가지 방법을 제공할 수 있습니다. 예를 들어 점대점 깊은 경로 검색, 다지점 네트워크 검색, 특정 퍼지 검색 조건을 기반으로 한 템플릿 매칭 검색, 웹 검색 엔진과 유사한 그래프 중심 퍼지 텍스트 경로 검색 등이 있습니다.

그림 13: 큰 그래프(하위 그래프 형성)에서 시각화된 실시간 네트워킹 결과 검색 깊이 ≥ 6홉

그래프에는 높은 유연성에 의존해야 하는 다른 많은 것들이 있습니다 유연한 필터링 조건을 기반으로 지점, 가장자리 및 경로 찾기, 커뮤니티 및 고객 그룹 검색 등 노드의 전체 또는 특정 이웃 찾기(또는 더 깊은 이웃 찾기)만 수행할 수 있는 작업 ; 그래프에서 유사한 특징을 찾는 것. 속성의 개체 또는 관계... 간단히 말해서, 컴퓨팅 성능의 지원이 없는 지식 그래프는 영혼이 없고 외관이 없는 신체와 같습니다. 다양하고 도전적이고 심층적인 검색 기능을 완료할 수 없습니다.

세 번째는 로우 코드, 보이는 대로 얻는다는 것입니다.

위에서 언급한 높은 컴퓨팅 성능과 유연성 외에도 그래프 시스템은 화이트박스(해석 가능), 형식 기반(로우 코드, 코드 없음) 및 WYSIWYG 비즈니스 수행 능력도 필요합니다.

그림 14: 제로 코드를 사용한 원클릭 검색, 검색 범위의 값만 입력하고 2D, 3D, 목록, 테이블 및 이종 데이터 융합의 여러 시각적 모드까지 유연하게 변환

Ultipa 실시간 그래프 데이터베이스 시스템에서 개발자는 Ultipa GQL의 한 문장만 입력하면 작업을 완료할 수 있으며, 비즈니스 담당자는 미리 설정된 양식 기반 플러그인을 사용하여 코드 없이 비즈니스 작업을 구현할 수 있습니다. 이러한 접근 방식은 직원들의 업무 효율성을 향상시키고, 조직의 운영 비용을 절감할 수 있도록 지원하며, 부서 간 의사소통 장벽을 허무는 데 큰 도움이 되었습니다.

결론적으로, 지식 그래프와 그래프 데이터베이스의 결합은 각계각층의 데이터 미들 플랫폼 비즈니스 구축을 가속화하는 데 도움이 될 것이지만, 금융 산업과 같이 전문성, 보안성, 안정성, 실시간, 정확한 산업에서는 상위 계층 애플리케이션을 지원하기 위해 관계형 데이터베이스를 사용하면 우수한 데이터 처리 성능을 제공할 수 없으며 심지어 완전한 데이터 처리 작업도 제공할 수 없습니다. 따라서 실시간, 포괄적, 심층 침투, 거래별 추적성, 정확한 측정 모니터링 및 제어가 가능합니다. 조기 경고 성능을 갖춘 그래프 데이터베이스(그래프 컴퓨팅) 기술만이 조직이 더 나은 전략을 계획하고 수천 마일을 얻을 수 있도록 지원합니다!

이 시점에서 나는 매우 흥미로운 점인 Sophon Lock을 언급 한 히트 곡 "삼체 문제"가 갑자기 생각났습니다. 그것은 아마도 지구의 기술이 그것을 뛰어넘는 것을 막기 위해 트리솔라 문명이 기초적인 인간 과학을 가로막는 등 다양한 장애물을 만들어 왔다는 의미일 것이다. 인류문명의 도약은 기초과학의 발전과 획기적인 돌파구에 달려 있기 때문에, 인류의 기초과학을 가로막는 것은 문명의 수준을 향상시키기 위한 지구의 길을 가로막는 것과 다름없다... 물론 저자가 말하고 싶은 것은 그래프 기술은 인공지능에 속한다. 정확히 말하면 인프라 중 하나는 그래프 기술 = 증강지능 + 설명 가능한 AI다. 이는 개발 과정에서 AI와 빅데이터가 결합된 필연적인 산물이다.

그림 15: 인공지능 인프라에 속하는 그래프 데이터베이스(그래프 컴퓨팅) 기술

위 내용은 챗봇은 지식 그래프를 통해 질문에 어떻게 답변하나요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!