Huawei Cloud, ein API-Vollszenario-Zero-Code-Testroboter, veröffentlicht ATGen in CodeArts TestPlan

Wie wir alle wissen, basiert die Interaktion zwischen Softwarediensten und Komponenten hauptsächlich auf einer Vielzahl von API-Schnittstellen.

Nehmen Sie als Beispiel die mehr als 300 kommerziellen Cloud-Dienste von Huawei Cloud. Jeder Dienst enthält durchschnittlich mehr als 500 Schnittstellen, und die Gesamtzahl der Schnittstellen beträgt mehr als 100.000. Die Geschäftsszenarien für Schnittstellenaufrufe sind unvorstellbar komplex.

Wie kann sichergestellt werden, dass das API-Testszenario so vollständig wie möglich ist, ohne Auslassungen oder ernsthafte Probleme im Live-Netzwerk zu verursachen? Dies ist ein klassisches Problem, mit dem Menschen derzeit konfrontiert sind, und die häufigsten Engpässe sind wie folgt:

• Das aktuelle Schnittstellentestdesign basiert auf der Erfahrung des Personals, und die Testdatenkonstruktionsmethode ist einheitlich, was es schwierig macht, das tatsächliche Anwendungsdatenverteilungsszenario des vorhandenen Netzwerks widerzuspiegeln
• Angesichts Tausender API-Schnittstellen, die Zehntausende oder sogar Hunderttausende Betriebspfade darstellen können, ist der Arbeitsaufwand für die Orchestrierung von E2E-Szenariotests enorm
• Vorhandene Tools zur Generierung von API-Schnittstellentests verwenden im Wesentlichen Fuzz-Tests + SBST basierend auf der Codeabdeckungszielführung oder die Wiedergabe einer einzelnen Schnittstelle basierend auf Live-Netzwerkdaten. Bei Multi-Interface-Funktionsinteraktionsszenarien ist die Generierung nicht bekannt Die Wirksamkeit ist relativ gering und ineffizient.

Wie löst Huawei Cloud diese Probleme?

▶Huawei Cloud ATGen: Erkennt den API-Schnittstellenkontext, generiert unabhängig API-Vollszenariotests und ändert das Mensch-Computer-Interaktionsmodell

ATGen (APITestGenerator) ist ein kontextsensitiver Zero-Code-unabhängiger Testgenerierungsdienst auf API-Szenarioebene, der den vollautomatischen Entwurf, die Generierung, Ausführung und Beurteilung von Tests auf Anwendungs-API-Szenarioebene realisiert, ohne eine einzige Codezeile schreiben zu müssen.

Das traditionelle Interaktionsmodell für Testdesign und -ausführung erfordert ein manuelles Verständnis der Designdokumente, der Anordnung von Testplänen und der Entwicklung der Testautomatisierung. Dies erfordert, dass die Teilnehmer mit Produkt- oder Servicegeschäfts- und Schnittstellendokumenten vertraut sind und über Kenntnisse in Testtechnologie und Tests verfügen Automatisierungs-Framework und Testautomatisierungscode-Schreiben.

Mit der Unterstützung von KI-Algorithmen, die unabhängig voneinander entworfen, generiert, ausgeführt und beurteilt werden, hat das Mensch-Computer-Interaktionsmodell des API-Testens auf Szenarioebene enorme Veränderungen erfahren.

• ATGen-Mensch-Computer-Interaktionsmodus, unterstützt durch intelligenten Algorithmus

Während des Testvorgangs analysiert die Maschine unabhängig Dokumente und Daten und generiert automatisch das Operationsabhängigkeits-ODG-Diagramm (OperationDependencyGraph) auf API-Szenarioebene. Der Tester muss lediglich entsprechende Überarbeitungen vornehmen, und die Maschine kann die Ausführung des ODG-Diagramms unabhängig untersuchen und durchlaufen , und schließen Sie die Beurteilung der Ergebnisse synchron mit der Berichterstellung ab. Tester müssen die Ergebnisse nur stapelweise nach Kategorie bestätigen.

▶Huawei Cloud ATGen: Hervorgehobene Technologie und geschäftlicher Wert

Basierend auf dem Forward-API-Schnittstellendefinitionsdokument durchsucht Huawei Cloud ATGen automatisch den API-Testkontext-Operationsabhängigkeitsgraphen (ODG), erkundet und durchläuft den ODG, um unabhängig API-Testsequenzen zu generieren, erstellt und gibt API-Testanforderungen in Echtzeit aus und bestimmt die Die Ergebnisse der API-Testantwort und die dynamische Korrektur des ODG-Diagramms optimieren die nächste Generierungsrunde.

Sechs Hauptfunktionen von Huawei Cloud ATGen:

• Unterstützt die vollautomatische intelligente Testgenerierung basierend auf der Rest-API-Schnittstellendefinition des Yaml-Dokument-Null-Codes
• Wahrnehmung des Rest-API-Schnittstellenaufrufkontexts: Parst das Schnittstellendefinitions-Yaml-Dokument, ermittelt die Kontextparameterübertragungsabhängigkeiten zwischen API-Schnittstellen sowie CRUD-Hinzufügungs-, Lösch-, Änderungs- und Abfrageabhängigkeiten und generiert das Schnittstellenoperationssequenz-Abhängigkeitsdiagramm ODG;
• Autonome Erkundung, Durchquerung und Korrektur von ODG: Erkunden und Durchqueren von ODG, um Testsequenzen in Stapeln zu generieren, diese automatisch zur Ausführung auszugeben und das ODG-Diagramm basierend auf dem Antwort-Feedback dynamisch zu korrigieren
• 13 Methoden zur Generierung von Schnittstellentestdaten: Unterstützt 13 Methoden zur Generierung von Testdaten, z. B. automatische Parameterübergabe im Schnittstellenkontext, Wiederverwendung von Wörterbuchwerten, Enum-Werten, Beispielwerten, Beispielmutationswert, Grenzwert, Zwischenwert, Zufallswert usw.;
• Automatisches Mining und Generieren von Testentscheidungspunkten: Generieren Sie explizite Testentscheidungspunkte basierend auf Schnittstellendefinitionen und Statuscodes
• Testergebnis-Clustering und stapelweise effiziente Bestätigung: Unterstützt das hierarchische Clustering von Testergebnissen basierend auf Geschäftsrückgabecodes, ähnlichen Teilsequenzen und Parametergenerierungstypen, wodurch es für Tester einfacher wird, Fehler in Stapeln nach Kategorie zu bestätigen und Bestellungen mit einem Klick aufzugeben;

*Spezifische technische Details finden Sie in den wichtigsten Konferenzbeiträgen, die in ICSE und ASE veröffentlicht wurden [1, 2].

Geschäftswert und Anwendungsaussichten von Huawei Cloud ATGen:

• Schnelles Erstellen einer Schnittstelle und eines funktionalen Qualitätsschutznetzwerks: Für neu gegründete Produktserviceteams oder voll funktionsfähige Teams ohne Vollzeittester können vollautomatische Null-Code-Schnittstellentests auf voller Szenarioebene mit geringer oder keiner Beteiligung durchgeführt werden schnell ein grundlegendes Qualitätsschutznetzwerk für Tests auf Schnittstellenebene und Funktionsszenarioebene aufbauen;
• Geringe Kosten, hohe Abdeckung: Für ein Testteam mit Vollzeittestern, Testexperten und hoher Reife kann die Effizienz des Testdesigns erheblich verbessert werden und eine höhere Testszenarioabdeckung und Fehlerabfangraten können bei geringen Kosten erreicht werden;
• Verstärkung der Zugangskontrolle für die Qualität der Montagelinie: Kann in bestehende Montagelinien integriert werden, um die bestehende Zugangskontrolle für Rauchtests zu verstärken und weitergehende Fehler in der Geschäftslogik abzufangen ;
• Uncodierte schnittstellenorientierte Vollszenario- und Vollattributtests: Kann eine vollautomatische Generierung abnormaler Szenarien (Zuverlässigkeitstests) und gleichzeitiger Szenarien (Leistungsdruckmodell) basierend auf normalen API-Szenariotests realisieren und bestehende Schnittstellen-Fuzz-Tests vollständig ersetzen. Realisieren Sie Zero-Code-Tests von Schnittstellen in allen Szenarien.

Huawei Cloud ATGen hat mehr als 30 tägliche Anwendungen von Produkten und Dienstleistungen in großem Umfang innerhalb von Huawei bereitgestellt und misst die Auswirkungen von Geschäftsanwendungen in drei Dimensionen:

• Generierungseffektivität: Einschließlich der Erfolgsquote von Schnittstellenanfragen, der längsten Sequenzlänge und Längenverteilung erfolgreicher Anfragen, der Anzahl der vom Unternehmen angenommenen und zugrunde gelegten Anwendungsfälle usw.
• Anzahl der Fehlererkennungen: Fehlerabfangfähigkeit, d. h. die Anzahl der Probleme und die Falsch-Positiv-Rate der gefundenen Produkt- und Servicefehler
• Abdeckung: Beinhaltet Weiß-Grau- und Black-Box-Abdeckung, d. h. Codeabdeckung, Abdeckung von Schnittstellen- und Parameterkombinationen, Abdeckung von Geschäftsszenarien usw.

Drei typische Praktiken für Geschäftsanwendungsszenarien bei Huawei

• Business-Anwendungsszenario 1

Produktform: cloudbasierte Speicherverwaltungs- und -steuerungsserviceprodukte, serviceorientierte Northbound- und Southbound-Steuerung eingebetteter Speichergeräte

Größe des Testteams: 50+ Personen

Gesamtzahl der Restful-Schnittstellen in Richtung Norden: 2300+

Aktuelle Situation vor der Bewerbung: Das Team ist neu gegründet und es fehlt eine Schnittstelle und ein Schutznetzwerk für die funktionale Testautomatisierung

Anwendungsmodus: Erstellen Sie schnell Netzwerktestfälle für Schnittstellentests und Funktionstests von Grund auf

Anwendungseffekt: Insgesamt wurden mehr als 350 Schnittstellenfehler gefunden, die drei Hauptkategorien von Fehlern abdecken. Die Wirksamkeit von Anfragen auf API-Schnittstellenebene kann über 80 % erreichen, und die Falsch-Positiv-Rate beträgt 10 %.

• Business-Anwendungsszenario 2

Produktform: Sicherung von Betreiber- und Unternehmensnetzwerken sowie intelligente Betriebs- und Wartungs-Cloud-Dienste, öffentliche Cloud/private Cloud-Bereitstellung

Größe des Testteams: 50 Personen

Gesamtzahl der Restful-Schnittstellen in Richtung Norden: 10.000+

Aktueller Stand vor der Anwendung: Über 8000 Schnittstellen- und Funktionstestfälle

Anwendungsmodus: Erweiterung der Abdeckung und Ergänzung bestehender Testfälle

Anwendungseffekt: Die Szenariotestabdeckung stieg um 30 %, und es wurden über 30 tiefgreifende Geschäftslogikprobleme neu entdeckt. Beispiele sind wie folgt:

• Business-Anwendungsszenario 3

Produktform: XX Tool Cloud Native Service

Größe des Testteams: voll ausgestattetes Team, keine Vollzeittester

Gesamtzahl der Restful-Schnittstellen: 1300+

Aktueller Stand vor der Anwendung: Über 10.000 Schnittstellentestfälle

Anwendungsmodus: Integrieren Sie ATGen in die Pipeline der Tool-Service-Alpha- und Beta-Umgebung. Nachdem der Build abgeschlossen und die Regressionstestaufgabe abgeschlossen ist, wird die Generierungsaufgabe automatisch ausgelöst, um zu erkennen, ob fehlgeschlagene Schnittstellen vorhanden sind, als Alpha- und Beta-Zugriffskontrollverstärkung.

Anwendungseffekt: Darüber hinaus wurden mehr als 60 Schnittstellenfehler entdeckt, und die Effektivität der API-Schnittstellentestgenerierung kann 82 % erreichen.

Angesichts der schnellen Iteration cloudbasierter Produktversionen werden die Anwendungsszenarien immer umfangreicher und die Produktfunktionen immer komplexer. Es wird immer schwieriger, sich vollständig auf die Testerfahrung von Menschen zu verlassen, um die Qualität von ATGen sicherzustellen -Szenario-Funktionstestroboter, der den Anforderungen der Zeit entspricht. Er kann kostengünstige API-Vollszenariotests mit hoher Abdeckung und wenigen Fehlalarmen realisieren und Entwicklern weiterhin hohe Qualität bieten Dienstleistungen.

【1】„MEHR: Modellbasiertes RESTful-API-Testen mit Ausführungsfeedback“, ICSE ’22,

【2】„Branchenpraxis für automatische RESTful-API-Tests“, ASE’22

Folgen Sie @huaweicloud für weitere Informationen

Das obige ist der detaillierte Inhalt vonHuawei Cloud, ein API-Vollszenario-Zero-Code-Testroboter, veröffentlicht ATGen in CodeArts TestPlan. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!