Robot ujian sifar kod senario penuh API, Huawei Cloud mengeluarkan ATGen dalam CodeArts TestPlan

Seperti yang kita sedia maklum, interaksi antara perkhidmatan perisian dan komponen bergantung terutamanya pada sebilangan besar antara muka API.

Ambil lebih daripada 300 perkhidmatan awan komersil Huawei Cloud sebagai contoh Setiap perkhidmatan mengandungi purata 500+ antara muka, dan jumlah antara muka adalah setinggi 100,000+ Senario perniagaan konteks panggilan antara muka tidak dapat dibayangkan.

Bagaimana untuk memastikan bahawa senario ujian API adalah selengkap mungkin, tanpa ketinggalan atau menyebabkan masalah serius pada rangkaian sedia ada? Ini adalah masalah klasik yang dihadapi oleh orang ramai pada masa ini, dan kesesakan biasa adalah seperti berikut:

• Reka bentuk ujian antara muka semasa bergantung pada pengalaman kakitangan, dan kaedah pembinaan data ujian adalah tunggal, yang sukar untuk menggambarkan senario pengedaran data aplikasi sebenar rangkaian sedia ada;
Berhadapan dengan beribu-ribu antara muka API, yang boleh membentuk puluhan ribu atau bahkan ratusan ribu laluan operasi, beban kerja orkestra ujian senario E2E adalah besar
Alat penjanaan antara muka API sedia ada pada asasnya menggunakan ujian Fuzz + SBST berdasarkan panduan sasaran liputan kod, atau main balik antara muka tunggal berdasarkan data rangkaian langsung Mereka tidak mengetahui konteks perniagaan antara muka Untuk senario interaksi fungsi berbilang antara muka. penjanaan adalah berkesan Prestasi yang lemah dan kecekapan yang rendah.

Jadi, bagaimanakah Huawei Cloud menyelesaikan masalah ini?

▶Huawei Cloud ATGen: Memahami konteks antara muka API, menjana ujian senario penuh API secara bebas dan merevolusikan model interaksi manusia-komputer

ATGen (APITestGenerator) ialah perkhidmatan penjanaan ujian bebas kod sifar peringkat senario API konteks yang merealisasikan reka bentuk automatik sepenuhnya, penjanaan, pelaksanaan dan pertimbangan ujian peringkat senario API aplikasi tanpa menulis satu baris kod.

Reka bentuk ujian tradisional dan model interaksi pelaksanaan memerlukan pemahaman manual tentang dokumen reka bentuk, susunan rancangan ujian, dan pembangunan automasi ujian. Ini memerlukan peserta untuk membiasakan diri dengan perniagaan produk atau perkhidmatan dan dokumen antara muka, dan mahir dalam teknologi ujian , rangka kerja automasi ujian dan automasi ujian.

Kini, dengan sokongan algoritma AI yang direka bentuk secara bebas, dijana, dilaksanakan dan dinilai secara bebas, model interaksi manusia-komputer ujian peringkat senario API telah mengalami perubahan yang besar.

• Mod interaksi manusia-komputer ATGen dikuasakan oleh algoritma pintar

Semasa proses ujian, mesin menghuraikan dokumen dan data secara bebas dan menjana secara automatik graf kebergantungan operasi peringkat senario API (OperationDependencyGraph) Penguji hanya perlu membuat semakan yang sesuai dan mesin boleh meneroka dan merentasi ODG secara autonomi pelaksanaan graf dan lengkapkan keputusan secara serentak Untuk penjanaan penilaian dan laporan, penguji hanya perlu mengesahkan keputusan dalam kelompok mengikut kategori.

▶Huawei Cloud ATGen: Teknologi dan Nilai Perniagaan yang Diserlahkan

Berdasarkan dokumen definisi antara muka API hadapan, Huawei Cloud ATGen secara automatik melombong graf kebergantungan operasi konteks (ODG) ujian API, meneroka dan merentasi ODG untuk menjana jujukan ujian API secara bebas, membina dan mengeluarkan permintaan ujian API dalam masa nyata, dan menentukan keputusan tindak balas ujian API Membetulkan peta ODG secara dinamik dan mengoptimumkan pusingan generasi seterusnya.

Enam ciri utama Huawei Cloud ATGen:

Menyokong penjanaan ujian pintar automatik sepenuhnya berdasarkan definisi antara muka Rest API kod sifar dokumen Yaml;
• Mengetahui konteks panggilan antara muka Rest API:
• Menghuraikan definisi antara muka dokumen Yaml, melombong kebergantungan pemindahan parameter konteks antara antara muka API, serta penambahan CRUD, pemadaman, pengubahsuaian dan kebergantungan pertanyaan serta menjana graf pergantungan jujukan operasi antara muka ODG ;
Penerokaan autonomi, traversal dan pembetulan ODG:
• Teroka dan melintasi ODG untuk menjana jujukan ujian dalam kelompok, mengeluarkannya secara automatik untuk pelaksanaan dan membetulkan gambar rajah ODG secara dinamik berdasarkan maklum balas
13 kaedah penjanaan data ujian antara muka:
• Menyokong penghantaran parameter automatik dalam konteks antara muka, pemultipleksan nilai kamus, nilai enum, nilai contoh, nilai mutasi contoh, nilai sempadan, nilai perantaraan, nilai rawak, dll. 13 Kaedah menjana data ujian; Perlombongan automatik untuk menjana mata keputusan ujian:
Jana titik keputusan ujian eksplisit berdasarkan definisi antara muka dan kod status
• Penghimpunan hasil ujian dan pengesahan cekap kelompok:
Menyokong pengelompokan hierarki keputusan ujian berdasarkan kod pulangan perniagaan, urutan serupa dan jenis penjanaan parameter, menjadikannya lebih mudah bagi penguji mengesahkan kegagalan dalam kelompok mengikut kategori dan laporkan mereka bersama-sama
• *Untuk butiran teknikal khusus, sila rujuk kertas persidangan teratas yang diterbitkan dalam ICSE dan ASE [1, 2].

Nilai perniagaan Huawei Cloud ATGen dan prospek aplikasi:

• Cepat bina antara muka dan rangkaian perlindungan kualiti berfungsi: Untuk pasukan perkhidmatan produk yang baru ditubuhkan, atau pasukan berciri penuh tanpa penguji sepenuh masa, automasi penuh kod sifar dengan sedikit atau tiada penyertaan boleh dicapai Penuh ujian peringkat senario bagi antara muka untuk membina rangkaian perlindungan kualiti asas untuk ujian peringkat antara muka dan peringkat senario berfungsi
• Kos rendah, liputan tinggi: Untuk pasukan ujian dengan penguji sepenuh masa, pakar ujian dan kematangan yang tinggi, kecekapan reka bentuk ujian boleh dipertingkatkan dengan baik dan liputan senario ujian yang lebih tinggi boleh dicapai pada kos yang rendah . dan kadar pemintasan kecacatan;
• Pengukuhan kawalan akses kualiti saluran paip: Boleh disepadukan dengan saluran paip sedia ada untuk mengukuhkan kawalan akses ujian asap sedia ada dan memintas lagi kecacatan dalam logik perniagaan
• Senario penuh berorientasikan antara muka tidak berkod dan ujian atribut penuh: Penjanaan senario luar biasa (ujian kebolehpercayaan) automatik dan senario serentak (model tekanan prestasi) boleh dicapai berdasarkan ujian senario API biasa, sepenuhnya Menggantikan ujian fuzz antara muka sedia ada dan melaksanakan ujian kod sifar antara muka dalam semua senario.

Huawei Cloud ATGen telah menggunakan 30+ aplikasi harian produk dan perkhidmatan secara besar-besaran dalam Huawei, dan mengukur kesan aplikasi perniagaan dalam tiga dimensi :

• Keberkesanan penjanaan: Termasuk kadar lulus permintaan antara muka yang berjaya, panjang urutan terpanjang dan pengedaran panjang permintaan yang berjaya, bilangan kes penggunaan yang diterima pakai dan digariskan oleh perniagaan, dsb.;
• Bilangan pengesanan kecacatan: Keupayaan pemintasan kecacatan, iaitu bilangan masalah dan kadar penggera palsu yang mengesan kecacatan produk dan perkhidmatan
• Liputan: Termasuk liputan kotak putih-kelabu-hitam, iaitu liputan kod, antara muka dan liputan gabungan parameter, liputan senario perniagaan, dsb.

Tiga amalan senario aplikasi perniagaan biasa dalam Huawei

• Senario aplikasi perniagaan 1

Borang produk: pengurusan storan & produk awan perkhidmatan kawalan, berasaskan perkhidmatan arah utara, kawalan selatan peranti storan terbenam

Saiz pasukan ujian: 50+ orang

Jumlah bilangan antara muka Restful arah utara: 2300+

Keadaan semasa sebelum permohonan: Pasukan ini baru ditubuhkan dan tidak mempunyai antara muka dan rangkaian perlindungan automasi ujian berfungsi

Mod aplikasi: cepat membina ujian antara muka dan kes ujian rangkaian perlindungan ujian fungsi dari awal

Kesan aplikasi: Sejumlah 350+ kecacatan antara muka ditemui, meliputi 3 kategori utama kecacatan Keberkesanan permintaan peringkat antara muka API boleh mencapai 80%+, dan kadar positif palsu ialah 10%.

• Senario aplikasi perniagaan 2

Borang produk: jaminan rangkaian operator & perusahaan & operasi pintar dan perkhidmatan awan penyelenggaraan, penggunaan awan awam/awan peribadi

Saiz pasukan ujian: 50 orang

Jumlah bilangan antara muka Restful arah utara: 10,000+

Status semasa sebelum permohonan: 8000+ antara muka & kes ujian berfungsi

Mod aplikasi: peningkatan liputan dan tambahan kepada kes ujian sedia ada

Kesan aplikasi: Liputan ujian senario meningkat sebanyak 30%, dan 30+ masalah logik perniagaan yang mendalam baru ditemui Contoh adalah seperti berikut:

• Senario aplikasi perniagaan 3

Borang produk: Perkhidmatan asli awan alat XX

Saiz pasukan ujian: pasukan berciri penuh, tiada penguji sepenuh masa

Jumlah bilangan antara muka Rehat: 1300+

Status semasa sebelum permohonan: 10,000+ kes ujian antara muka

Mod aplikasi: Sepadukan ATGen ke dalam talian paip persekitaran alfa dan beta perkhidmatan alat Selepas binaan selesai dan tugas ujian regresi selesai, tugas penjanaan dicetuskan secara automatik untuk mengesan sama ada terdapat antara muka yang gagal, sebagai pengukuhan kawalan akses alfa dan beta.

Kesan aplikasi: 60+ kecacatan antara muka juga ditemui, dan keberkesanan penjanaan ujian antara muka API boleh mencapai 82%.

Berhadapan dengan lelaran versi produk awan yang pantas, senario aplikasi menjadi semakin banyak dan fungsi produk menjadi semakin kompleks, semakin sukar untuk bergantung sepenuhnya pada pengalaman ujian manusia untuk memastikan kualiti senario penuh yang dijana secara bebas robot ujian berfungsi ATGen muncul mengikut keperluan masa Ia boleh merealisasikan

ujian senario penuh API kos rendah, kod sifar, liputan tinggi dan rendah-palsu dan terus menyediakan pembangun dengan ujian-tinggi. perkhidmatan yang berkualiti.

【1】“LEBIH BANYAK: Ujian API RESTful berasaskan model dengan Maklum Balas Pelaksanaan”, ICSE ’22,

【2】“Amalan industri ujian API RESTful automatik”, ASE’22

Ikuti @huaweicloud untuk maklumat lanjut

Atas ialah kandungan terperinci Robot ujian sifar kod senario penuh API, Huawei Cloud mengeluarkan ATGen dalam CodeArts TestPlan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!