Linyu ist Open Source, das erste sichere Datenanalysesystem für mehrere Parteien in Industriequalität, SCQL: „einfach zu verwendendes“ privates Computing wie das Schreiben von SQL

Das erste sichere Mehrparteien-Datenanalysesystem SCQL in Industriequalität von Linyu hat die Lücke in der Branche geschlossen und wird die Verbindungen der Datensicherheitszusammenarbeit weiter ausbauen und die Szenarien der Datenwertzirkulation erweitern.

Der Aufstieg großer Modelle hat die Bedeutung von Daten als neuem Produktionsfaktor erneut deutlich gemacht. Als wichtiger Weg zum Ausgleich von Datennutzung und Datensicherheit hat Privacy Computing seinen akademischen Wert und seinen Anwendungswert weiter hervorgehoben. In den letzten Jahren haben sich private Computertechnologie und -industrie, angetrieben durch Politik und Marktnachfrage, stetig weiterentwickelt und wurden in vielen Bereichen wie Finanzen, Kommunikation, Internet, Regierungsangelegenheiten und medizinische Versorgung eingesetzt. Aber insgesamt gibt es aufgrund von Problemen wie technischen Schwellenwerten und Baukosten wirklich groß angelegte Produktionsanwendungen, aber die Anzahl ist sehr gering.

Am 29. März, beim ersten Tag der offenen Tür der Hidden Language Open Source Community, veröffentlichte das Open-Source-Framework Hidden Language SecretFlow eine neue Version und brachte eine wichtige Funktion auf den Markt, auf die sich die Branche freut – das sichere Mehrparteien-Datenanalysesystem SCQL (Sichere kollaborative Abfragesprache). Dies ist die erste Anwendung in der Branche, die SQL auf die MPC-Technologie (Multi-Party Secure Computing) anwendet und so sichere Datenanalysefunktionen für mehrere Parteien realisiert. Sie ist derzeit Open Source in der Linguo GitHub-Community und steht Entwicklern in aller Welt offen die Welt kostenlos.

Wang Lei, die Person, die für das Hidden Language-Framework SecretFlow verantwortlich ist, veröffentlichte das Hidden Language SCQL-System beim Tag der offenen Tür der Hidden Language Open Source Community

Dies geschah auch, nachdem das Hidden Language-Team drei Jahre damit verbracht hatte, es durchzuziehen Mehrere Runden technischer Verifizierung, um industrielle Anwendungsszenarien in Bezug auf Leistung und Sicherheit zu erfüllen. Die von Caiyuan veröffentlichten wichtigen Produktfunktionen hoffen, die Verbindung der Datensicherheitszusammenarbeit weiter auszubauen und die Szenarien der Datenwertzirkulation zu erweitern, insbesondere um den Datenanalyseanforderungen gerecht zu werden Long-Tail-Institutionen und die Mehrheit der kleinen und mittleren Institute.

Wang Lei, Leiter des Linguistic Framework und General Manager der Abteilung Privacy Intelligent Computing Technology der Ant Group, sagte in einem exklusiven Interview mit Machine Heart, dass Privacy Computing in die Branche fällt, um praktische Probleme für Großbenutzer zu lösen KI-Datenanalyse, Die Anwendungsszenarien von BI werden breiter sein. Diesmal hat Linyu das SCQL-System veröffentlicht, in der Hoffnung, dass Benutzer private Computertechnologie auf der Grundlage vertrauter Arbeitsabläufe verstehen und nutzen können.

Derzeit tritt Privacy Computing in eine neue Phase ein. Die Sicherheitskonformität der Single-Point-Technologie wurde insbesondere seit der Veröffentlichung der 20 Data Articles verifiziert Die Verfügbarkeit von Privacy Computing BI ist erreicht und die Senkung der technischen Hürden ist in der gegenwärtigen Phase zur zentralen Herausforderung geworden. Nur wenn wir die Breite und Tiefe der Technologieanwendungen weiter ausbauen, können wir die zukünftige Ära der umfassenden Verdichtung wirklich annehmen großer Datenelemente.

Wang Lei sagte, dass das Lingu-Team technische Durchbrüche bei der SQL-Sprachanalyse, der Optimierung der MPC-Rechenleistung und der Sicherheit der Ergebnisinversion erzielt und gute technische Arbeit geleistet hat Ergebnisse. Er betonte auch, dass es anspruchsvollere und offenere Probleme gebe und freue sich darauf, dass sich mehr Menschen am Aufbau einer privaten Open-Source-Computing-Community beteiligen und gemeinsam weitere Anwendungsszenarien erkunden würden.

Sprache SCQL: Das erste Open-Source-Sicherheitsdatenanalysesystem in Industriequalität

Mehrparteiensystem

Laut dem „Chinese Enterprise Intelligence Maturity Report (2022)“, der im Januar dieses Jahres von der China Academy of Information and Communications Technology veröffentlicht wurde 84 % der Unternehmen befinden sich derzeit noch in der Grundphase des digitalen Aufbaus und sind noch weit von der Verwirklichung eines intelligenten Betriebs und einer innovativen Entwicklung entfernt. Für diesen Teil des Unternehmens gibt es zahlreiche BI-Geschäftsanforderungen.

Die meisten derzeit verfügbaren BI-Technologien können Daten beim Speichern oder Übertragen schützen, ihnen fehlt jedoch die Funktion, die Sicherheit des Datenberechnungsprozesses zu gewährleisten. Für Unternehmen mit Datenschutz- und Sicherheitsanforderungen erweitert dies lediglich den Anwendungsbereich traditioneller BI Die Grenze kann auf weitere Szenarien angewendet werden. Da die Vermarktung von Datenelementen voranschreitet, wird es in der Branche gravierende Lücken bei der BI-Analyse von Privacy Computing geben.

In diesem Zusammenhang startete Linyu das SCQL-Projekt, das das am häufigsten verwendete SQL in der BI-Analyse mit Multi-Party Secure Computing (MPC) im Privacy Computing kombiniert, um Privacy Computing in die Branche und in die gesamte Branche zu bringen und komplexes Ökosystem. Der erste Schritt zur Anwendung im mittleren und großen Maßstab.

Konzentrieren Sie sich auf das Szenario der gemeinsamen Datenanalyse mehrerer Parteien, da im Vergleich zur technischen Route „Trusted Execution Environment“ (TEE) eine Hardware-Vertrauenswurzel erforderlich ist und der aktuelle Reifegrad der Lokalisierung noch Zeit benötigt, um überprüft und verfeinert zu werden -Party Secure Computing (MPC) Der technische Weg hat einzigartige Vorteile: stärkere Datenkontrolle, keine Abhängigkeit von spezieller Hardware usw. Darüber hinaus kann in einigen Szenarien, in denen die Daten einer einzelnen Partei relativ dünn sind, die Qualität der Datenanalyse auch durch die Erweiterung von Stichproben oder Datendimensionen verbessert werden, d Analyse, Aktualisierung der Geschäftsstrategie und Innovation des Geschäftsmodells. Erzielen Sie bessere Ergebnisse. Zum Beispiel:

• In Finanzszenarien: Zusammenarbeit zwischen verschiedenen Finanzinstituten, ohne dass die Privatsphäre der Benutzer verloren geht, durch Abfrage der Anzahl der Kredite, Kreditbeträge, vertrauenswürdiger Aufzeichnungen und anderer Regeln, um festzustellen, ob potenzielle Kunden Hochrisikokunden sind;
• Marketingszenario: Zusammenarbeit zwischen verschiedene Plattformen, um komplementäre Benutzerprofile zu erstellen, Benutzerpräferenzen für Inhalte zu analysieren und die Benutzeraktivität durch sinnvollere Inhaltsempfehlungen zu verbessern
• Medizinisches Szenario: Verschiedene Krankenhäuser oder sogar verschiedene Abteilungen innerhalb desselben Krankenhauses analysieren gemeinsam die Krankenakten der Patienten und sorgen für eine Entscheidungsfindung Leitlinien für die Registrierung oder Vordiagnose und verbessern die Effizienz medizinischer Dienste.

Allerdings gibt es große technische Herausforderungen bei der Realisierung der Kombination von SQL und MPC. Erstens ist SQL eine komplexe Architektur. Wenn es in privaten Computerszenarien verwendet wird, erfordert die Lösung der Komplexität des Architekturdesigns das Parsen der SQL-Sprache, und der technische Schwellenwert für dieses Parsen ist sehr hoch. Zweitens stellen Benutzer in SQL-Nutzungsszenarien sehr hohe Anforderungen an die Antwortzeit nach der Abfrage und erwarten im Allgemeinen, dass die Ergebnisse sofort angezeigt werden. Wie kann dies jedoch sehr gering sein? Drittens: Wie kann verhindert werden, dass die flexible SQL-Abfragesprache vertrauliche Informationen abfragt, die Benutzer nicht sehen möchten?

Basierend auf dem zugrunde liegenden abstrakten SPU-Gerät des MPC-Technologiekerns (SecretFlow Processing Unit, kurz SPU, die die dichte Recheneinheit der Lingu-Plattform ist und sichere Rechendienste für das Lingu-Framework bereitstellt), hat das Linyu-Team das innovativ implementiert Mehrparteiensicheres Datenanalysesystem SCQL. SCQL unterstützt eine SQL-ähnliche Abfragesprache. Diese Sprache erbt die Popularität, einfache Erlernbarkeit und hohe Reife von SQL als häufig verwendete Datenanalysesprache. Sie kann die Statistiken der gemeinsamen Analyse vervollständigen, ohne dass der Benutzer die Semantik einer Mehrparteiensprache kaum wahrnimmt Sicheres Computing. Ergebnis generiert.

Die SCQL-Architektur ist in der folgenden Abbildung dargestellt. Sie ist in zwei Teile unterteilt. Die obere SCDB kann als SCQL-Datenbank betrachtet werden, die für die Übersetzung der Abfrage in ein dichtes Zustandsausführungsdiagramm und deren Ausgabe an die SCQL-Engine verantwortlich ist Wird auf dem Datenteilnehmer zur Ausführung bereitgestellt. Die SCQL-Engine ist die Ausführungs-Engine von SCQL. Sie arbeitet mit der SCQL-Engine anderer Teilnehmer zusammen, um die Ausführung des dichten Zustandsdiagramms abzuschließen und die Ergebnisse an SCDB zu melden.

Insbesondere können externe Benutzer direkt eine herkömmliche SQL-Anfrage initiieren. Diese Anfrage wird zunächst über den Parser durchlaufen und in einen abstrakten Syntaxbaum umgewandelt. Anschließend wird sie über den Planner in einen logischen Plan umgewandelt. Die größte Herausforderung besteht vom logischen Plan bis zum Ausführungsdiagramm, bei dem der Übersetzer unter mehreren Einschränkungen eine Auswahl des optimalen Protokolls durchführen muss. Dies ist ein Schlüssel für die Durchführung privater SQL-Berechnungen, da die gesamte Berechnung Sicherheitsbeschränkungen unterliegt Erfordert eine umfassende Berücksichtigung von Datentyp, Datenquelle und Datenstatus, und der Datenstatus wird sich im Laufe des Rechenprozesses weiter migrieren und ändern.

Hier implementierte das Linyu-Team auf innovative Weise den CCL-Mechanismus (Column Control List) als geniale Lösung für SQL-Flexibilität und -Funktionalität in sicheren Mehrparteien-Computing-Szenarien. CCL bietet ein Hilfstool, mit dem Dateneigentümer CCL verwenden können, um die Einschränkungen für die Verwendung jeder Datenspalte vor der vorherigen Überprüfung zu beschreiben. Nur wenn die Einschränkungen strikt erfüllt sind, führt die Datenanalyse-Engine sie aus.

Derzeit werden 6 Arten von Einschränkungen bereitgestellt, und das Lingo-Framework wird in dieser Hinsicht in Zukunft weiter verbessert und verfeinert.

Zusammenfassend hat die Linguistic SCQL-Lösung einen sehr guten Versuch unternommen, technische Herausforderungen wie Korrektheit, Aktualität und Sicherheit anzugehen, und Folgendes erreicht:

• Einfach zu verwenden und zu integrieren: SCQL unterstützt eine SQL-ähnliche Abfragesprache, die einfach zu verwenden und kostengünstig zu starten ist. Darüber hinaus bietet SCQL eine einfache und benutzerfreundliche API-Schnittstelle für eine einfache Integration und Kapselung und unterstützt häufig verwendete Datenquellen (unterstützt derzeit MySQL und plant, in Zukunft CSV, Postgres, Hive und andere Datenquellen zu unterstützen). Dadurch können die Datenanforderungen mehrerer Parteien zu geringen Kosten erfüllt werden.
• Feiner Datenautorisierungsmechanismus: SCQL schlägt innovativ den CCL-Mechanismus (Column Control List) vor, der es Datenparteien ermöglicht, ihre Daten zu autorisieren wird verwendet, und die Steuerungsgranularität kann so fein sein wie Datentabellenfelder (Spalte);
• Erfüllen Sie die tatsächlichen Produktionsleistungsanforderungen: Unter der Prämisse des Datenschutzes und mit der Optimierungsidee, den Rechenaufwand in dichten Zuständen so weit wie möglich zu reduzieren, wurde eine mehrstufige Optimierung durchgeführt.
• Derzeit nutzt Ant Insurance bereits die Lingo-SCQL-Funktion in Zusammenarbeit mit Versicherungsunternehmen für Schadensüberprüfungsszenarien. Basierend auf der Schadenstechnologieplattform und dem Lingo-Framework wurde das intelligente Schadenssystem „Claims Brain“ erstellt. Im gesamten System ist die Mehrparteien-Daten-Gemeinschaftsanalyselösung eines der Kernmodule, die Versicherungsunternehmen und ihre externen medizinischen Daten unterstützt ISVs sammeln Originaldaten, ohne den lokalen Bereich zu verlassen. Führen Sie gemeinsame Analysen unter der Voraussetzung durch, dass der Datenwert geschützt ist. In diesem Plan stellt die Versicherungsgesellschaft „Anwenderschadensdaten“ zur Verfügung, die die Art der versicherten Krankheiten, den Zeitpunkt des Inkrafttretens der Police, den Zeitpunkt des Unfalls usw. umfassen. Darüber hinaus gelten die von der Versicherung bereitgestellten „Ausnahmeregeln für bereits bestehende Krankheiten“. Das Unternehmen umfasst auch die Arten der versicherten Krankheiten und die entsprechenden Befreiungsregeln. ISV stellt „medizinische Behandlungsdaten des Benutzers“ bereit, einschließlich der Art der diagnostizierten Krankheit, der Behandlungsdauer und anderer Dimensionen. Bei der gemeinsamen Analyse kann die Beschreibung und Ausführung gemeinsamer Analyseaufgaben durch die Kombination von „SELECT FROM“-, „INNER JOIN“-, „Where“-Klauseln und Vergleichsausdrücken erfolgen und gleichzeitig den Datenschutz von Versicherungsunternehmen und ISVs gewährleisten Analysieren Sie, ob der Benutzer die Anspruchsbedingungen erfüllt.

Diese auf die Krankenversicherung zugeschnittene Lösung zur gemeinsamen Datenanalyse mehrerer Parteien kann dabei helfen, positive Hinweise effektiv zu entdecken, das Risiko falscher Ansprüche zu verringern und die Betriebskosten von Ansprüchen durch digitale Untersuchung und Überprüfung zu kontrollieren.

Zukünftig wird die Linyu-Open-Source-Community auch SCQL-Kokonstruktionsaufgaben veröffentlichen, darunter die Anreicherung von Datenquellen (z. B. die Unterstützung von CSV-Dateien), die Verbesserung von Grammatik und Funktionen, die Verbesserung der Benutzerfreundlichkeit usw. Jeder ist herzlich willkommen, dies auch weiterhin zu tun Achten Sie auf die GitHub-Community von Linyu und fügen Sie sogar Ihre hinzu. Der Co-Konstruktionsplan wird über eine Pull-Anfrage eingereicht und wird zu einem integralen Bestandteil der Co-Konstruktionsaufgabe. Wir werden diese Funktion weiterhin gemeinsam aufbauen und verbessern.

Erweitern Sie Anwendungsszenarien für die Datenzirkulation.

Benötigen Sie benutzerfreundliches und benutzerfreundliches Datenschutz-Computing Verständnis der Privacy-Computing-Technologie. Linyu hofft, einen benutzerfreundlichen, universellen Maßstab zu setzen und dabei zu helfen, Anwendungen in der gesamten privaten Computerbranche zu aktivieren. Natürlich: „Sicherheit ist der Kern des Privacy Computing. Nur unter der Prämisse, Sicherheit zu gewährleisten, können wir über Genauigkeit, Leistung und Benutzerfreundlichkeit sprechen. Andernfalls kann dies mit anderen Technologien erreicht werden

Das allgemeine Konzept zieht sich durch.“ die Entwicklung des Jargons.

Wang Lei stellte vor, dass die Ant Group 2016 begann, sich mit Datenschutz-Computing zu beschäftigen und interne Geschäfts- und Branchenforschung praktiziert und durchdacht hat. Während dieses Prozesses stellten die Techniker fest, dass es viele Wege und unterschiedliche Architekturen für Datenschutz-Computing-Technologien gibt. Daher sollte eine ideale Datenschutz-Computing-Architektur zunächst vollständig sein, gängige Technologie-Frameworks unterstützen und die Entwicklung neuer Technologien berücksichtigen. Zweitens muss die Architektur von der unteren zur oberen Schicht entkoppelt werden, um eine kontinuierliche Iteration zu ermöglichen. Darüber hinaus sollte die Architektur auch über ein gutes Schichtdesign verfügen, um Sicherheit und Algorithmen zu trennen, die Anwendung zu erleichtern und die Anwendungsbreite und Beteiligungsschwelle der Datenschutz-Computing-Technologie zu erhöhen. Geschäftsintegration und umfangreiche Produktionsfunktionen sind ebenfalls wichtig und erfordern ein gutes Schnittstellendesign und umfangreiche Produktionsfunktionen wie Graustufen, Rollback, elastische Erweiterung und Verwaltung mehrerer Versionen.

Nach diesem Konzept wird das Jargon-Framework SecretFlow als allgemeines Privacy-Computing-Framework vorgeschlagen, das die folgenden Prinzipien befolgt, um das Framework möglichst umfassend und skalierbar zu machen, um der Entwicklung zukünftiger Privacy-Computing-Technologien und -Anwendungen gerecht zu werden.

• Vollständigkeit: Unterstützt eine Vielzahl von Privacy-Computing-Technologien und kann flexibel zusammengestellt werden, um den Anforderungen verschiedener Szenarien gerecht zu werden.
• Transparenz: Erstellen Sie ein einheitliches technisches Framework und versuchen Sie, die zugrunde liegende Technologie iterativ und transparent für die obere Schicht zu machen, mit hoher Kohäsion und geringer Kopplung.
• Offenheit: Menschen mit unterschiedlichen Berufsrichtungen können problemlos am Aufbau des Frameworks teilnehmen und gemeinsam die Entwicklung der Privacy-Computing-Technologie beschleunigen.
• Konnektivität: Daten in Szenarien, die von verschiedenen zugrunde liegenden Technologien unterstützt werden, können miteinander verbunden werden.

Das Lingo-Framework unterstützt die aktuellen Mainstream-Privacy-Computing-Technologierouten, um sich besser an die Anforderungen verschiedener Szenarien anzupassen. Dadurch ist es auch einfacher, mehrere Technologierouten zu integrieren und zu migrieren und von den Stärken der anderen zu lernen. Gleichzeitig entwirft Linyu auf einer höheren Planungsebene eine technische Lösung zur Unterstützung der „Trennung von drei Rechten“ von Datenelementeigentum, Nutzungsrechten und Betriebsrechten, um das in den Zwanzig Datenartikeln vorgeschlagene Dateneigentum technisch umzusetzen. Die Leitideologie der „Trennung von drei Rechten“: Rechte, Nutzungsrechte und Verwaltungsrechte.

Privacy Computing ist nicht nur ein ausgefallener Trick, sondern das Team von Wang Lei hat darüber nachgedacht, wie man sicherere, effizientere, leistungsstärkere und flexiblere Lösungen bereitstellen kann. Derzeit werden Großanwendungen in der Branche hauptsächlich in zwei Kategorien unterteilt: BI und KI können in viele Unterkategorien unterteilt werden, wie z. B. traditionelle SQL-Datenanalyse und Python-basierte Datenanalyse sowie Big-Data-Verarbeitung und Stream-Batch Verarbeitung usw. Die Branche des datenschutzschonenden maschinellen Lernens für KI-Szenarien ist mittlerweile relativ ausgereift und es gibt viele optionale technische Lösungen und Produkte auf dem Markt.

Ich denke an die kleinen Dateninstitute, die dazu neigen, mit kleineren Datenmengen von Millionen oder mehreren zehn Millionen zu beginnen, weil eine solche Verarbeitung viele Anwendungsszenarien abdecken kann und auch hinsichtlich der Ein- und Ausgabe geringer ist.

„Da sich der Digitalisierungsgrad kleiner und mittlerer Unternehmen noch in einem frühen Stadium befindet und sich die Datenmenge im Kleinstichprobenstadium befindet, ist die Methode des maschinellen Lernens unnötig und nicht kosteneffektiv, und die BI-Analyse erfolgt mithilfe der SQL-Sprache.“ denn die Hauptmethode ist die praktikabelste Lösung.“

Für große Datenszenarien ist die BI-Datenanalyse auch eine unverzichtbare und wichtige Analysemethode. „Von Big Data bis hin zu Small Data kann SCQL die Anforderungen einer dichten Datensicherheitsanalyse erfüllen“, betonte Wang Lei.

Natürlich wird der Jargon für KI-Anwendungen weiterhin iterieren. Wenn beispielsweise der XGB-Algorithmus in der Branche weit verbreitet ist, wird eine schnellere Version veröffentlicht.

Wang Lei sagte, dass der zukünftige Trend des Privacy Computing die Technologieintegration umfassen muss, was nicht nur die Integration zwischen verschiedenen technischen Bereichen, sondern auch die Integration zwischen technischen Tools umfasst. Aus der Perspektive des gesamten Privacy-Computing-Technologie-Stacks muss die endgültige Lösung ein Querschnitt mehrerer Technologien sein, um verschiedene Probleme zu lösen. Basierend auf der Anwendbarkeit des Einsatzszenarios und den Sicherheitsanforderungen werden Privacy-Computing-Technologien für verschiedene Szenarien ausgewählt.

Lingyu hofft, mithilfe der Technologie das Vertrauen der Branche in Privacy Computing als Infrastruktur für die Zirkulation von Datenelementen zu stärken und gemeinsam verschiedene Anwendungen über das Hub-Modell und das Pipeline-Modell zu unterstützen, um die groß angelegte Expansion der gesamten Branche zu unterstützen die Zukunft.

Argument Open Source hat zwei Zwecke: Der eine besteht darin, zu hoffen, dass mehr Menschen private Computer nutzen können, und der andere darin, zu hoffen, dass mehr Menschen gemeinsam eine Community aufbauen können. Derzeit ist die Zahl der an der Co-Konstruktion beteiligten Personen relativ gering. Linyu plant, die Ausrichtung der Co-Konstruktion in diesem Jahr zu verstärken und den Co-Konstruktionsprozess zu verbessern. Wir freuen uns darauf, gemeinsam mit allen weitere Möglichkeiten für die Datenverarbeitung zu erkunden.

Geheime offizielle Website:

​https://www.secretflow.org.cn​

Geheime Community:

​https://github.com/secretflow​

​https:// gitee.com/secretflow​

Das obige ist der detaillierte Inhalt vonLinyu ist Open Source, das erste sichere Datenanalysesystem für mehrere Parteien in Industriequalität, SCQL: „einfach zu verwendendes“ privates Computing wie das Schreiben von SQL. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!