Linyu 오픈 소스 최초의 산업 등급 다자간 보안 데이터 분석 시스템 SCQL: SQL 작성과 같은 "사용하기 쉬운" 개인 컴퓨팅

Linyu가 오픈소스로 제공하는 최초의 산업용 등급 다자간 보안 데이터 분석 시스템 SCQL은 업계 격차를 메우고 데이터 보안 협업 링크를 더욱 확장하고 데이터 가치 순환 시나리오를 확장할 것입니다.

대형 모델의 등장으로 인해 데이터 활용과 데이터 보안의 균형을 유지하는 중요한 경로로서 데이터의 중요성이 다시 한 번 깊이 인식되었습니다. 프라이버시 컴퓨팅은 학문적 가치와 응용 가치를 더욱 부각시켰습니다. 최근에는 정책과 시장 수요에 힘입어 개인 컴퓨팅 기술과 산업이 꾸준히 발전해 금융, 통신, 인터넷, 정무, 의료 등 다양한 분야에 적용되고 있다. 그러나 전반적으로 기술적 한계, 건설 비용 등의 문제로 인해 실제로 대규모 생산 응용 프로그램이 있지만 그 수는 매우 적습니다.

3월 29일, 첫 번째 Hidden Language 오픈 소스 커뮤니티 오픈 데이에서 Hidden Language SecretFlow 오픈 소스 프레임워크는 업계가 기대하는 중요한 기능인 다자간 보안 데이터 분석 시스템 SCQL을 출시하는 새 버전을 출시했습니다. (보안 협업 쿼리 언어). 이는 다자간 보안 컴퓨팅(MPC) 기술에 SQL을 적용하여 산업 수준의 다자간 보안 데이터 분석 기능을 구현한 업계 최초의 애플리케이션입니다. 현재 Linguo GitHub 커뮤니티에서 오픈 소스로 제공되며 주변 개발자에게 공개되어 있습니다. 공짜로 사는 세상.

Hidden Language 프레임워크 SecretFlow 담당자 Wang Lei가 Hidden Language 오픈소스 커뮤니티 오픈 데이에서 Hidden Language SCQL 시스템을 공개했습니다

이것도 Hidden Language 팀이 3년의 시간을 보낸 후의 일입니다. Caiyuan이 출시한 중요한 제품 기능은 성능 및 보안 측면에서 산업 응용 시나리오를 충족하기 위해 여러 차례의 기술 검증을 통해 데이터 보안 협력의 링크를 더욱 확장하고 특히 데이터 분석 요구 사항을 충족하기 위해 데이터 가치 순환 시나리오를 확장하기를 희망합니다. 롱테일 및 대부분의 중소 규모 기관에 해당됩니다.

Ant Group의 개인 정보 보호 지능형 컴퓨팅 기술 부서의 언어 프레임워크 책임자이자 총괄 관리자인 Wang Lei는 Machine Heart와의 독점 인터뷰에서 개인 정보 보호 컴퓨팅이 대규모 사용자의 실질적인 문제를 해결하기 위해 업계에 속할 때와 비교했을 때 다음과 같이 말했습니다. AI 데이터 분석, BI의 적용 시나리오는 더욱 넓어질 것입니다. SQL은 현재 가장 친숙한 BI 분석 도구입니다. Linyu는 사용자가 친숙한 워크플로우를 기반으로 저렴한 비용으로 프라이빗 컴퓨팅 기술을 이해하고 사용할 수 있기를 바라며 SCQL 시스템을 출시했습니다.

현재 개인 정보 보호 컴퓨팅은 새로운 단계에 진입하고 있습니다. 특히 20개 데이터 기사가 발표된 이후에는 단일 지점 기술의 보안 준수가 검증되었으며 빅 데이터와 개인 정보 보호 컴퓨팅의 결합이 실현되었습니다. 개인 정보 보호 컴퓨팅 BI의 가용성이 실현되었으며, 기술 적용 범위를 지속적으로 확장해야만 포괄적인 밀도화의 미래 시대를 진정으로 수용할 수 있습니다. 대규모 데이터 요소.

Wang Lei는 Lingu 팀이 SQL 언어 구문 분석, MPC 컴퓨팅 성능 최적화 및 결과 반전 보안 분야에서 기술적 혁신을 이루었고 일부 문제에 대해 매우 좋은 새로운 솔루션을 제공했으며 엔지니어링 작업을 수행하고 좋은 성과를 거두었다고 말했습니다. 결과. 그는 또한 더 도전적이고 개방적인 문제가 있다고 강조했으며 더 많은 사람들이 프라이빗 컴퓨팅 오픈 소스 커뮤니티를 구축하고 더 많은 애플리케이션 시나리오를 함께 탐색하는 데 참여하기를 기대합니다.

Language SCQL: 최초의 오픈 소스 산업용 등급

다자간 보안 데이터 분석 시스템

올해 1월 중국 정보통신기술원에서 발표한 "중국 기업 인텔리전스 성숙도 보고서(2022)"에 따름 , 현재 기업의 84%가 디지털 구축의 기본 단계에 있으며 지능적인 운영과 혁신적인 개발을 실현하는 데는 아직 멀었습니다. 기업의 이 부분에는 BI 비즈니스 요구 사항이 많이 있습니다.

현재 사용 가능한 대부분의 BI 기술은 데이터를 저장하거나 전송할 때 데이터를 보호할 수 있지만 데이터 계산 프로세스의 보안을 보호하는 기능이 부족합니다. 개인 정보 보호 및 보안 관련 요구가 있는 조직의 경우 이는 기존 BI의 범위를 확장할 뿐입니다. 기술 경계는 더 많은 시나리오에 적용될 수 있습니다. 데이터 요소의 시장화가 진행됨에 따라 개인 정보 보호 컴퓨팅 BI 분석에 있어 업계 간 격차가 심각해질 것입니다.

이러한 맥락에서 Linyu는 업계와 대규모 전체에 개인 정보 보호 컴퓨팅을 도입하는 방법으로 BI 분석에서 가장 일반적으로 사용되는 SQL과 개인 정보 보호 컴퓨팅의 다자간 보안 컴퓨팅(MPC)을 결합하는 SCQL 프로젝트를 시작했습니다. 중대형 적용을 향한 첫걸음입니다.

TEE(신뢰할 수 있는 실행 환경) 기술 경로와 비교할 때 하드웨어 신뢰 루트가 필요하고 현재 현지화 성숙도를 검증하고 다듬는 데 시간이 필요하므로 다자간 데이터 공동 분석 시나리오에 중점을 둡니다. MPC(파티 보안 컴퓨팅) 기술 경로에는 더 강력한 데이터 제어, 특수 하드웨어에 대한 의존 없음 등 고유한 장점이 있습니다. 또한 일방 데이터가 상대적으로 얇은 일부 시나리오에서는 샘플 또는 데이터 차원의 확장, 즉 공동 의사 결정을 위해 다자간 데이터를 결합하고 궁극적으로 데이터 분석의 품질을 향상시킬 수도 있습니다. 비즈니스 효과 분석, 비즈니스 전략 업그레이드, 비즈니스 모델 혁신을 통해 더 나은 혜택을 얻으세요. 예:

• 금융 시나리오: 잠재 고객이 고위험 고객인지 식별하기 위해 대출 수, 대출 금액, 신뢰할 수 있는 기록 및 기타 규칙을 쿼리하여 사용자 개인 정보를 유출하지 않고 여러 금융 기관 간의 협력
• 마케팅 시나리오: 보완적인 사용자 프로필을 달성하고, 콘텐츠에 대한 사용자 선호도를 분석하고, 보다 합리적인 콘텐츠 추천을 통해 사용자 활동을 개선하기 위한 다양한 플랫폼 등록이나 사전진단에 대한 안내 및 의료서비스의 효율성을 향상시킵니다.
• 그러나 SQL과 MPC의 결합을 구현하는 데는 기술적으로 큰 어려움이 있습니다. 우선, SQL은 복잡한 아키텍처입니다. 프라이빗 컴퓨팅 시나리오에서 사용되는 경우 아키텍처 설계의 복잡성을 해결하는 방법에는 SQL 언어 구문 분석이 포함되며, 이 구문 분석에 대한 기술적 임계값은 매우 높습니다. 둘째, SQL 사용 시나리오에서 사용자는 쿼리 제출 후 응답 시간에 대한 요구 사항이 매우 높으며 일반적으로 결과를 즉시 볼 수 있기를 기대합니다. 그러나 MPC의 컴퓨팅 성능은 매우 낮습니다. 셋째, 사용자가 보고 싶어하지 않는 민감한 정보를 유연한 SQL 쿼리 언어로 쿼리하지 않도록 하는 방법입니다.

Linyu 팀은 Lingu 플랫폼의 고밀도 컴퓨팅 장치인 MPC 기술 코어의 기본 추상 SPU 장치(SecretFlow 처리 장치, 줄여서 SPU)를 기반으로 다자간 보안 데이터 분석 시스템 SCQL을 혁신적으로 구현했습니다. Lingu 프레임워크를 위한 보안 컴퓨팅 서비스. SCQL은 SQL과 유사한 쿼리 언어를 지원합니다. 이 언어는 일반적으로 사용되는 데이터 분석 언어인 SQL의 인기, 학습 용이성 및 높은 성숙도를 계승하여 사용자가 다자간 의미를 거의 인식하지 않고도 공동 분석 통계를 완료할 수 있습니다. 보안 컴퓨팅 결과가 생성되었습니다.

SCQL 아키텍처는 아래 그림과 같습니다. 상위 SCDB는 쿼리를 밀집 상태 실행 그래프로 변환하여 SCQL 엔진에 발행하는 역할을 하는 SCQL 데이터베이스로 간주할 수 있습니다. SCQL 엔진은 실행을 위해 데이터 참가자에 배포되며, SCQL의 실행 엔진은 다른 참가자의 SCQL 엔진과 협력하여 조밀한 상태 그래프의 실행을 완료하고 결과를 SCDB에 보고합니다.

특히 외부 사용자는 기존 SQL 요청을 직접 시작할 수 있습니다. 이 요청은 먼저 Parser를 통해 추상 구문 트리로 변환된 다음 Planner를 통해 논리적 계획이 됩니다. 가장 큰 과제는 논리적 계획부터 실행 그래프까지, Translator가 여러 제약 조건 하에서 최적의 프로토콜 선택을 수행해야 하는 것입니다. 이는 전체 계산에 보안 제약이 있기 때문에 SQL 전용 계산을 만드는 데 핵심입니다. 데이터 유형, 데이터 소스, 데이터 상태를 종합적으로 고려해야 하며, 데이터 상태는 컴퓨팅 프로세스에 따라 계속해서 마이그레이션되고 변경됩니다.

여기서 Linyu 팀은 다자간 보안 컴퓨팅 시나리오에서 SQL 유연성과 기능에 대한 독창적인 솔루션으로 CCL(열 제어 목록) 메커니즘을 혁신적으로 구현했습니다. CCL은 데이터 소유자가 CCL을 사용하여 사전 검토 전에 데이터의 각 열 사용에 대한 제약 조건을 설명할 수 있도록 하는 보조 도구를 제공합니다. 제약 조건이 엄격하게 충족되는 경우에만 데이터 분석 엔진이 이를 실행합니다.

현재 6가지 유형의 제약조건이 제공되며, Lingo 프레임워크는 앞으로도 이와 관련하여 지속적으로 개선되고 개선될 예정입니다.

요약하자면, Linguistic SCQL 솔루션은 정확성, 적시성, 보안과 같은 기술적 과제를 해결하기 위해 매우 좋은 시도를 했으며 다음을 달성했습니다.

• 사용 및 통합이 용이함: SCQL은 SQL과 유사한 쿼리 언어를 지원하므로 사용하기 쉽고 시작 비용이 저렴합니다. 또한 SCQL은 손쉬운 통합과 캡슐화를 위해 간단하고 사용하기 쉬운 API 인터페이스를 제공하고 일반적으로 사용되는 데이터 소스를 지원합니다(현재는 MySQL을 지원하며 향후 CSV, Postgres, Hive 및 기타 데이터 소스도 지원할 계획입니다). 저렴한 비용으로 비즈니스의 다자간 데이터 요구 사항을 충족할 수 있습니다.
• 세밀한 데이터 인증 메커니즘: SCQL은 데이터 당사자가 데이터를 인증하는 방식을 허용하는 CCL(열 제어 목록) 메커니즘을 혁신적으로 제안합니다.
• 풍부한 함수 및 유연한 시나리오: 대부분의 시나리오의 공동 분석 요구 사항을 충족할 수 있는 가장 일반적으로 사용되는 SQL 구문 및 함수를 지원합니다.
• 실제 생산 성능 요구 사항 충족: 데이터 프라이버시 보호를 전제로 밀집된 상태에서 계산량을 최대한 줄이는 최적화 아이디어로 다단계 최적화를 수행했습니다.

현재 Ant Insurance는 보험금 청구 검증 시나리오를 위해 이미 보험사와 협력하여 Lingo SCQL 기능을 사용하고 있습니다. 청구 기술 플랫폼과 용어 프레임워크를 기반으로 "Claims Brain" 지능형 청구 시스템이 전체 시스템에서 생성되었으며, 다자간 데이터 공동 분석 솔루션은 보험 회사와 외부 의료를 지원하는 핵심 모듈 중 하나입니다. 데이터 ISV는 지역을 떠나지 않고 원본 데이터를 수집하고, 데이터 가치가 보호된다는 전제하에 공동 분석을 수행합니다.

본 플랜에서는 보험사가 제공하는 "이용자 청구 데이터"에 보험 질병 종류, 보험 적용 시기, 사고 발생 시기 등이 포함됩니다. 또한, 보험사에서 제공하는 "기존 질병 면제 규정"도 제공됩니다. 회사는 또한 보험에 가입된 질병 유형 및 해당 면제 규칙을 포함하고 있으며, ISV는 진단된 질병 유형, 치료 시간 및 기타 차원을 포함한 "사용자 치료 데이터"를 제공합니다. 공동 분석에서는 "SELECT FROM", "INNER JOIN", "Where" 절, 비교 표현의 조합을 통해 공동 분석 작업의 설명 및 실행을 완료할 수 있으며, 보험사와 ISV의 데이터 프라이버시를 보장합니다. , 사용자가 청구 조건을 충족하는지 분석합니다.

이 건강보험 맞춤형 다자간 데이터 공동 분석 솔루션은 긍정적인 단서를 효과적으로 발견하고 잘못된 청구의 위험을 줄이며 디지털 조사 및 검토를 통해 청구 운영 비용을 관리하는 데 도움을 줄 수 있습니다.

향후 Linyu 오픈 소스 커뮤니티에서는 데이터 소스 강화(예: csv 파일 지원), 문법 및 기능 개선, 사용 편의성 향상 등을 포함한 SCQL 공동 구축 작업도 공개할 예정입니다. Linyu GitHub 커뮤니티에 관심을 기울이고 추가하세요. 공동 구축 계획은 풀 요청을 통해 제출되며 공동 구축 작업의 필수적인 부분이 됩니다. 우리는 이 기능을 계속해서 함께 구축하고 개선할 것입니다.

데이터 순환 응용 시나리오 확장

사용하기 쉽고 사용하기 쉬운 개인 정보 보호 컴퓨팅이 필요합니다

Wang Lei는 현재 전반적인 개인 정보 보호 컴퓨팅 기술과 시장이 아직 초기 단계에 있으며 업계가 충분하지 않다고 믿습니다. 개인 정보 보호 컴퓨팅 기술에 대한 이해. Linyu는 사용하기 쉬운 범용 벤치마크를 설정하고 전체 개인 컴퓨팅 산업에서 애플리케이션을 활성화하는 데 도움을 주기를 희망합니다. 물론 "보안은 개인 정보 보호 컴퓨팅의 핵심입니다. 보안 보장을 전제로 정확성, 성능 및 사용 편의성을 논할 수 있습니다. 그렇지 않으면 다른 기술로도 달성할 수 있습니다.

일반적인 개념은 다음과 같습니다." 용어의 발전.

Wang Lei는 Ant Group이 2016년부터 프라이버시 컴퓨팅을 탐구하기 시작했으며 내부 비즈니스 및 산업 연구를 통해 실천하고 생각했다고 소개했습니다. 이 과정에서 기술자들은 다양한 개인 정보 보호 컴퓨팅 기술 경로와 다양한 아키텍처가 있음을 발견했습니다. 따라서 이상적인 개인 정보 보호 컴퓨팅 아키텍처는 먼저 완성되고 주류 기술 프레임워크를 지원하며 새로운 기술 개발을 고려해야 합니다. 둘째, 지속적인 반복을 용이하게 하기 위해 아키텍처는 하위 계층에서 상위 계층으로 분리되어야 합니다. 또한 아키텍처는 보안과 알고리즘을 분리하고, 애플리케이션을 용이하게 하며, 개인 정보 보호 컴퓨팅 기술의 애플리케이션 범위와 참여 임계값을 높이기 위해 우수한 계층형 설계를 갖춰야 합니다. 비즈니스 통합과 대규모 생산 능력도 중요하며, 그레이스케일, 롤백, 탄력적 확장, 다중 버전 관리 등 좋은 인터페이스 디자인과 대규모 생산 능력이 필요합니다.

이 개념에 따라 용어 프레임워크인 SecretFlow는 일반적인 개인 정보 보호 컴퓨팅 프레임워크로 제안되며, 미래의 개인 정보 보호 컴퓨팅 기술 및 애플리케이션 개발에 대처할 수 있도록 프레임워크를 가장 포괄적이고 확장 가능하게 만들기 위해 다음 원칙을 준수합니다.

• 완전성: 다양한 개인 정보 보호 컴퓨팅 기술을 지원하고 다양한 시나리오의 요구 사항을 충족하도록 유연하게 조립할 수 있습니다.
• 투명성: 통합된 기술 프레임워크를 구축하고 높은 응집력과 낮은 결합도를 통해 기본 기술을 상위 계층에 반복적이고 투명하게 만들려고 노력합니다.
• 개방성: 다양한 전문적 방향을 가진 사람들이 프레임워크 구축에 쉽게 참여할 수 있으며 개인 정보 보호 컴퓨팅 기술 개발을 공동으로 가속화할 수 있습니다.
• 연결성: 다양한 기본 기술이 지원하는 시나리오의 데이터를 서로 연결할 수 있습니다.

Lingo 프레임워크는 다양한 시나리오의 요구 사항에 더 잘 적응할 수 있도록 현재의 주류 개인 정보 보호 컴퓨팅 기술 경로를 지원합니다. 이를 통해 여러 기술 경로를 더 쉽게 통합 및 마이그레이션하고 서로의 장점을 배울 수 있습니다. 동시에 Yaoyu는 더 높은 계획 수준에서 데이터 요소 소유권, 사용 권한 및 운영 권한의 "3가지 권리 분리"를 지원하여 20개의 데이터 기사에서 제안된 데이터 소유권을 기술적으로 실현하는 기술 솔루션을 설계하고 있습니다. 권리, 사용권, 관리권 '3권 분리'의 ​​지도 이념입니다.

프라이버시 컴퓨팅은 단지 화려한 트릭이 아니라 실제로 업계가 원하는 것이 무엇인지 고민하는 것입니다. Wang Lei 팀은 보다 안전하고 효율적이며 강력한 성능과 보다 유연한 솔루션을 제공하는 방법에 대해 고민해 왔습니다. 현재 업계의 대규모 애플리케이션은 크게 BI와 AI 두 가지로 분류되는데, BI는 전통적인 SQL 데이터 분석, Python 기반 데이터 분석, 빅데이터 처리, 스트림 배치 등 여러 하위 카테고리로 나눌 수 있다. 처리 등 AI 시나리오를 위한 개인 정보 보호 기계 학습 산업은 이제 상대적으로 성숙해졌으며 시장에는 선택적인 기술 솔루션과 제품이 많이 있습니다.

저는 이러한 처리가 많은 애플리케이션 시나리오를 포괄할 수 있고 입력 및 출력 측면에서도 낮기 때문에 수백만 또는 수천만의 작은 데이터 볼륨으로 시작하는 경향이 있는 소규모 데이터 기관을 생각합니다.

"중소기업의 디지털화 수준은 초기 단계이고, 데이터의 양이 소표본 단계이기 때문에 AI의 머신러닝 방식은 불필요하고 비용 효율적이지 않습니다. SQL 언어를 활용한 BI 분석 주요 방법이 가장 실현 가능한 솔루션입니다."

대규모 데이터 시나리오의 경우 BI 데이터 분석도 필수적이고 중요한 분석 방법입니다. Wang Lei는 "빅 데이터부터 소규모 데이터까지 SCQL은 밀집된 데이터 보안 분석 요구 사항을 충족할 수 있습니다"라고 강조했습니다.

물론, Lingo는 계속 반복될 것입니다. 예를 들어 XGB 알고리즘이 업계에서 널리 사용된다면 더 빠른 버전이 출시될 것입니다.

Wang Lei는 개인 정보 보호 컴퓨팅의 미래 추세에는 서로 다른 기술 분야 간의 통합뿐만 아니라 기술 도구 간의 통합도 포함하는 기술 통합이 포함되어야 한다고 말했습니다. 전체 개인 정보 보호 컴퓨팅 기술 스택의 관점에서 볼 때 최종 솔루션은 다양한 문제를 해결하기 위한 여러 기술의 교차점이어야 하며 배포 시나리오의 적용 가능성과 보안 요구 사항을 기반으로 다양한 시나리오에 대한 개인 정보 보호 컴퓨팅 기술이 선택됩니다.

Lingyu는 기술을 사용하여 데이터 요소 순환 인프라로서 개인 정보 보호 컴퓨팅에 대한 업계의 신뢰를 구축하고 허브 모델과 파이프라인 모델을 통해 다양한 애플리케이션을 공동으로 지원하기를 희망합니다. 미래.

인수 오픈소스에는 두 가지 목적이 있습니다. 하나는 더 많은 사람들이 개인 컴퓨팅을 사용할 수 있기를 바라는 것이고, 다른 하나는 더 많은 사람들이 함께 커뮤니티를 구축할 수 있기를 바라는 것입니다. 현재 공동 구축에 참여하는 사람의 수는 상대적으로 적습니다. Linyu는 올해 공동 구축의 방향을 높이고 공동 구축 프로세스를 개선할 계획입니다. 모두와 함께 프라이버시 컴퓨팅에 대한 더 많은 가능성을 적극적으로 모색할 예정입니다.

비밀 공식 웹사이트:

​https://www.secretflow.org.cn​

비밀 커뮤니티:

​https://github.com/secretflow​

​https:// gitee.com/secretflow​

위 내용은 Linyu 오픈 소스 최초의 산업 등급 다자간 보안 데이터 분석 시스템 SCQL: SQL 작성과 같은 "사용하기 쉬운" 개인 컴퓨팅의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!