인공지능 플랫폼 솔루션의 품질 엔지니어링 설계

번역자 | Zhu Xianzhong

리뷰어 | Sun Shujuan

소개

우리는 인공지능의 황금시대에 있습니다. 인공 지능 솔루션을 채택하면 기업이 더욱 창의적이고 경쟁력 있고 대응력이 향상됩니다. SaaS(Software-as-a-Service) 모델은 클라우드 기술의 발전과 결합하여 소프트웨어 생산 및 소비 프로세스를 점점 더 성숙하게 만들었습니다.

대부분의 조직이 자체 AI 기술을 "구축"하는 것보다 기성 AI 기술을 "구매"하는 것을 선호한다는 것은 일반적인 사실입니다. 이에 세일즈포스(Salesforce), SAP, 오라클 등 SaaS 제공업체들은 인공지능 플랫폼 기능을 잇따라 도입하고 서비스형 인공지능(AI-as-a-Service, AIaaS) 모델을 구축해 왔다. 실제로 이러한 개발 추세로 인해 기업은 인공 지능 솔루션을 더 쉽게 채택할 수 있습니다.

테스트 기술은 일반적인 품질 보증(QA), 특히 인공 지능 플랫폼 채택에 중요한 역할을 합니다. 또한 AI 플랫폼을 채택하면 다음과 같은 이유로 테스트가 매우 복잡해집니다.

1. AI 테스트에는 스마트 테스트 프로세스, 가상화된 클라우드 리소스, 전문 기술 및 AI 도구가 필요합니다.
2. 인공지능 플랫폼 제공업체는 다양한 버전을 자주 출시하지만 테스트 속도는 최대한 빨라야 합니다.
3. 인공지능 제품은 투명성이 부족하고 설명할 수 없는 경우가 많으므로 설득하기 어렵습니다.
4. 인공지능 제품뿐만 아니라 학습 모델의 품질과 데이터의 품질도 똑같이 중요합니다. 그러나 클라우드 리소스, 알고리즘, 인터페이스, 사용자 구성을 검증하기 위한 일부 기존 테스트 방법은 일반적으로 비효율적입니다. 이런 식으로 학습, 추론, 지각, 조작 등에 대한 테스트도 똑같이 중요해집니다.

예를 들어 플러그 앤 플레이 AI 솔루션 모델에서 AI 로직은 소프트웨어 공급업체에서 제공합니다. 소비자로서의 프로그래머는 인터페이스를 구축하고, 논리 훈련을 위한 데이터를 제공하고, 솔루션의 맥락에서 논리를 훈련하고, 최종 사용자에게 경험을 확장하는 일을 담당합니다.

먼저 기존 테스트와 마찬가지로 데이터, 알고리즘, 통합 및 사용자 경험을 테스트해야 합니다. 둘째, 솔루션의 기능적 적합성을 테스트하려면 훈련된 모델을 검증해야 하며, 이를 통해 테스트를 추론, 계획, 학습 등으로 확장합니다. 셋째, AI 알고리즘 자체를 검증하는 방법이 개발되어야 한다. 마지막으로 검색, 최적화, 확률 등 AI 로직이 사용할 수 있는 도구도 기능 검증에 포함되어야 합니다. 이 기사에서는 인공 지능 테스트 프레임워크에 대한 실용적인 관점을 소개합니다.

AI 플랫폼 솔루션의 핵심 필요성: 지속적인 테스트

높은 수준의 자동화를 통해 달성되는 QA 성숙도는 AI 플랫폼 채택에 매우 중요합니다. 기업이 인프라와 엔지니어링 방법을 현대화함에 따라 릴리스 주기는 점점 더 짧아지고 고도로 자동화될 가능성이 높습니다. CI(지속적 통합) 기술이 효과적인 것으로 입증되었습니다. 코드가 하루에 여러 번 로그인된 후 다시 컴파일되면 여러 QA 피드백 루프가 생성됩니다. 따라서 CI를 성공적으로 적용하려면 빌드 및 배포 프로세스의 자동화가 중요합니다. 자동화는 CI의 기초이며 테스트 자동화를 통해 CD(지속적인 전달)가 가능해집니다. 즉, CD는 CI에 의해 구동됩니다. Agile 및 DevOps 모델의 개발은 개발과 테스트 간의 피드백 루프를 가속화하고 지속적인 테스트(CT), 지속적인 개발 및 지속적인 제공을 제도화했습니다.

기업에서는 데이터, 애플리케이션, 인프라 등이 끊임없이 변화하고 있습니다. 동시에 SaaS 제공업체는 사용자 경험과 개발 효율성을 개선하기 위해 AI 제품을 계속 업그레이드하고 있습니다. 이러한 역동적인 상황에서는 지속적인 테스트 생태계를 구축하는 것이 중요합니다. 이러한 완전 자동화된 테스트 환경은 변화하는 기업 IT 자산을 검증할 수 있을 뿐만 아니라 변화하는 AI 제품 버전도 검증할 수 있습니다.

요약하자면, 좋은 CT 생태계를 구축하려면 다음 요소를 고려해야 합니다.

1. 자동화된 테스트 스크립트를 엔터프라이즈 버전 제어 도구로 마이그레이션하세요. 애플리케이션 코드베이스와 마찬가지로 자동화 코드베이스도 버전 제어 저장소에 있어야 합니다. 이러한 방식으로 테스트 자산을 애플리케이션 및 데이터 자산과 결합하는 것이 효율적입니다.
2. 중앙 집중식 실행 및 보고를 지원하기 위해 자동화 제품군을 코드/데이터 빌드 배포 도구와 통합할 계획입니다. 코드/데이터 빌드를 해당 자동화 제품군에 맞추는 것이 중요합니다. 물론 사람의 개입을 피하기 위해서는 모든 빌드 중에 도구 기반의 자동화된 배포가 절대적으로 필요합니다.
3. 각 체크포인트에서 더 빠른 피드백을 얻기 위해 자동화 제품군을 여러 테스트 계층으로 분할합니다. 예를 들어, AI 상태 점검은 인터페이스와 데이터 구조에 변경 사항이 배포된 후 서비스가 제대로 작동하는지 확인할 수 있습니다. AI 연기 테스트는 중요한 시스템 기능이 제대로 작동하고 막힘 결함이 없는지 확인할 수 있습니다.
4. 테스트 범위에는 훈련 모델도 포함되어야 합니다. AI 테스트는 또한 솔루션이 감독 및 비지도 모두에서 주어진 지침을 학습하는지 여부를 보여주는 훈련된 모델을 테스트해야 합니다. 응답이 주어진 훈련과 일치하는지 확인하려면 동일한 시나리오를 여러 번 재현하는 것이 중요합니다. 마찬가지로 테스트의 일부로 실패, 예외, 오류 등에 대한 솔루션을 교육하는 프로세스를 마련하는 것이 중요합니다. 예외 처리를 신중하게 고려하면 내결함성을 내장할 수 있습니다.
5. AI 솔루션 전주기에 걸쳐 인공지능 훈련/학습을 관리할 계획입니다. CT 관련 설정은 테스트부터 프로덕션까지 계속 학습하는 데 도움이 되어 전이 학습에 대한 우려를 줄여줍니다.
6. 스마트 회귀를 통한 최적화. 앙상블 회귀의 실행 주기 시간이 상당히 긴 경우 CT는 합리적인 시간 창 내에 피드백을 제공하기 위해 심각하게 영향을 받은 영역을 기반으로 런타임에 하위 집합을 나누어야 합니다. ML 알고리즘을 효과적으로 사용하여 특정 코드 및 데이터 빌드와 일치하는 회귀 테스트를 선택하는 확률 모델을 생성함으로써 클라우드 리소스 사용을 효율적으로 최적화하고 테스트 속도를 높이는 데 도움이 됩니다.
7. 항상 정기적으로 포괄적인 회귀 테스트를 예약하세요. 이 작업은 반복되는 빌드 빈도와의 일관성에 따라 밤이나 주말에 예약될 수 있습니다. 이는 병렬로 실행되는 스레드나 머신을 실행하여 피드백 시간을 최소화하는 것이 목표인 CT 생태계의 궁극적인 피드백입니다.

사람의 개입 없이 테스트할 때 결함, 오류 및 알고리즘 이상은 AI 솔루션 발견의 원천이 됩니다. 마찬가지로 테스트 중 실제 사용법과 사용자 선호도도 교육의 소스가 되며 생산에서도 계속되어야 합니다.

AIaaS 솔루션의 데이터를 추출할 수 있는지 확인

데이터 품질은 인공지능 솔루션의 가장 중요한 성공 기준입니다. 유용한 데이터는 기업 내부와 외부 모두에 존재합니다. 유용한 데이터를 추출하여 AI 엔진에 공급하는 능력은 품질 개발의 요구 사항 중 하나입니다. ETL(추출, 변환, 로드)은 다양한 소스에서 데이터를 수집하고 비즈니스 규칙에 따라 변환하여 대상 데이터 저장소에 로드하는 데이터 파이프라인을 가리키는 전통적인 용어입니다. ETL 분야는 EII(Enterprise Information Integration), EAI(Enterprise Application Integration), iPaaS(Enterprise Cloud Integration Platform as a Service)로 발전했습니다. 기술이 발전하더라도 데이터 보증의 필요성은 더욱 중요해질 것입니다. 데이터 보증은 Map Reduce 프로세스 검증, 변환 논리 검증, 데이터 검증, 데이터 저장 검증 등과 같은 기능 테스트 활동을 다루어야 합니다. 또한 데이터 보증은 성능, 장애 조치, 데이터 보안의 비기능적 측면도 다루어야 합니다.

정형 데이터는 관리하기 쉬운 반면, 기업 외부에서 발생하는 비정형 데이터는 주의해서 처리해야 합니다. 스트림 처리 원칙은 이동 중인 데이터를 조기에 준비하는 데 도움이 됩니다. 즉, 이벤트 중심 처리를 통해 데이터가 웹사이트, 외부 애플리케이션, 모바일 장치, 센서 및 기타 소스에서 생성되거나 수신되는 즉시 처리됩니다. 또한, 품질 ​​Gate를 구축하여 품질을 확인하는 것이 반드시 필요합니다.

Twitter, Instagram, WhatsApp과 같은 메시징 플랫폼은 모두 인기 있는 데이터 소스입니다. 이러한 데이터를 사용할 때 클라우드 기반 메시징 프레임워크를 통해 다양한 기술에 걸쳐 애플리케이션, 서비스 및 장치를 연결합니다. 딥러닝 기술을 통해 컴퓨터는 이러한 데이터 로드로부터 학습할 수 있습니다. 이 데이터 중 일부는 음성에서 텍스트 전사, 필기 인식에서 얼굴 인식 등에 이르는 복잡한 신호 처리 및 패턴 인식 문제를 해결하기 위해 신경망 솔루션의 도움이 필요합니다. 따라서 이러한 플랫폼의 데이터를 테스트하려면 필요한 품질 게이트를 설정해야 합니다.

AI 기반 QA 프로젝트를 설계할 때 주의해야 할 사항은 다음과 같습니다.

1. 자동화된 품질 게이트: ML 알고리즘을 구현하여 과거 및 인식 기준에 따라 데이터가 '통과'되는지 여부를 결정할 수 있습니다.
2. 원인 예측: 데이터 결함의 소스 원인을 분류하거나 식별하면 향후 오류를 방지하는 데 도움이 될 뿐만 아니라 데이터 품질을 지속적으로 개선하는 데에도 도움이 됩니다. 패턴과 상관 관계를 통해 테스트 팀은 ML 알고리즘을 구현하여 결함의 소스를 추적할 수 있습니다. 이는 데이터가 자가 테스트 및 자가 치유를 위한 다음 단계로 이동하기 전에 교정 테스트 및 교정을 자동화하는 데 도움이 됩니다.
3. 사전 인식 모니터링 활용: ML 알고리즘은 높은 메모리 사용량, 중단을 유발할 수 있는 잠재적 위협 등 데이터 패턴에서 증상 및 관련 코딩 오류를 검색하여 팀이 자동으로 수정 단계를 구현하도록 돕습니다. 예를 들어 AI 엔진은 병렬 프로세스를 자동으로 가속화하여 서버 소비를 최적화할 수 있습니다.
4. 장애 조치: ML 알고리즘은 학습을 위해 실패를 등록하는 기능을 통해 실패를 감지하고 자동으로 복구하여 처리를 계속할 수 있습니다.

AIaaS 솔루션에서 인공지능 알고리즘 보장

소프트웨어 시스템의 내부 구조를 알면 개발과 테스트가 간단해집니다. 그러나 AI 플랫폼 솔루션에서 AI와 ML은 "설명하기"가 어렵습니다. 즉, 입력/출력 매핑이 알려진 유일한 요소이며 개발자는 기본 AI 기능(예: 예측)의 메커니즘을 보거나 이해하지 못하는 경우가 많습니다. 전통적인 블랙박스 테스트는 입출력 매핑 문제를 해결하는 데 도움이 되지만, 투명성이 부족하면 인간이 테스트 모델을 신뢰하기 어렵습니다. 물론 AI 플랫폼 솔루션은 블랙박스입니다. 이러한 방식으로 AI 프로그램의 기능을 검증하는 데 도움이 될 수 있는 고유한 AI 기술이 있습니다. 테스트는 단지 입력 및 출력 매핑의 문제가 아닙니다. 설계 고려 사항을 위해 일부 AI 기반 블랙박스 테스트 기술에는 다음이 포함됩니다.

1. 사후 예측 검사(PPC)는 적합 모델에서 복제 데이터를 시뮬레이션한 다음 이를 관찰된 데이터와 비교합니다. 따라서 테스트에서는 사후 예측을 사용하여 "실제 데이터와 시뮬레이션 데이터 간의 체계적인 차이를 찾을 수 있습니다."
2. 테스트 사례 최적화를 위한 유전 알고리즘. 테스트 사례를 생성할 때의 과제 중 하나는 테스트 중인 소프트웨어에 대한 입력으로 사용될 때 적용 범위가 가장 높은 데이터 세트를 찾는 것입니다. 이 문제가 해결되면 테스트 케이스를 최적화할 수 있습니다. 선택, 교배, 돌연변이와 같은 자연적인 진화 과정에서 수행되는 기본 행동을 시뮬레이션하는 적응형 휴리스틱 검색 알고리즘이 있습니다. 경험적 검색을 사용하여 테스트 사례를 생성할 때 테스트 애플리케이션에 대한 피드백 정보를 사용하여 테스트 데이터가 테스트 요구 사항을 충족하는지 여부를 결정합니다. 피드백 메커니즘은 테스트 요구 사항이 충족될 때까지 테스트 데이터를 점진적으로 조정할 수 있습니다.
3. 자동 테스트 사례 생성을 위한 신경망. 이는 경험적 지식을 획득, 저장 및 처리할 수 있는 물리적 셀룰러 시스템입니다. 그들은 학습 작업을 수행하기 위해 인간의 두뇌를 모방합니다. 테스트 케이스를 자동으로 생성하기 위해 신경망 학습 기술이 사용됩니다. 이 모델에서 신경망은 AI 플랫폼 제품의 원래 버전에 적용된 테스트 사례 세트에 대해 학습됩니다. 네트워크 훈련은 시스템의 입력과 출력만을 대상으로 합니다. 그런 다음 훈련된 네트워크를 인공 오라클로 사용하여 AI 플랫폼 제품의 새롭고 잠재적으로 버그가 있는 버전에서 생성된 출력의 정확성을 평가할 수 있습니다.
4. 모델 기반 회귀 테스트 선택을 위한 퍼지 논리. 이러한 방법은 이미 모델 기반 개발 방법을 사용하고 있는 프로젝트에 유용하지만, 주요 장애물은 모델이 높은 수준의 추상화에서 생성되는 경우가 많다는 것입니다. 모델과 코드 수준 테스트 사례의 적용 범위 관련 실행 추적 간에 추적성 링크를 설정하는 데 필요한 정보가 부족합니다. 퍼지 논리 기반 방법을 사용하면 추상 모델을 자동으로 개선하여 추적성 링크를 식별할 수 있는 세부 모델을 생성할 수 있습니다. 이 프로세스는 어느 정도의 불확실성, 즉 개선 기반 퍼지 논리를 적용하여 해결할 수 있는 불확실성을 도입합니다. 이 접근 방식의 논리는 사용된 개선 알고리즘과 관련된 확률적 정확성을 기반으로 테스트 사례를 재테스트 가능한 사례로 분류하는 것입니다.

이 부분의 지식에 대한 자세한 내용은 ​"기계 학습 모델의 블랙박스 테스트"​​를 참조하세요.

AIaaS 솔루션의 통합 및 인터페이스 보장

AIaaS 솔루션을 포함한 모든 SaaS 솔루션에는 사전 정의된 웹 서비스 세트가 함께 제공됩니다. 엔터프라이즈 애플리케이션 및 기타 지능형 리소스는 이러한 서비스와 상호 작용하여 약속된 결과를 달성할 수 있습니다. 오늘날 웹 서비스는 플랫폼 독립성, 즉 상호 운용성을 제공하는 수준으로 진화했습니다. 이러한 향상된 유연성을 통해 대부분의 웹 서비스를 다양한 시스템에서 사용할 수 있습니다. 물론, 이러한 인터페이스의 복잡성으로 인해 그에 상응하는 테스트 수준도 높아져야 합니다. 예를 들어 CI/CD 환경에서는 구축된 모든 애플리케이션 패키지에서 이러한 인터페이스의 호환성을 확인하는 것이 중요한 작업이 됩니다.

현재 이 분야의 주요 과제는 가상화된 웹 서비스를 구현하고 AI 플랫폼 솔루션과 애플리케이션 또는 IoT 인터페이스 간의 데이터 흐름을 검증하는 것입니다. 요약하면, 인터페이스/웹 서비스 테스트가 복잡한 주요 이유는 다음과 같습니다.

1. 아직 테스트 준비가 되지 않은 다른 소스와 이미 통합되어 있지 않으면 테스트 가능한 UI가 없습니다.
2. 이러한 서비스에 정의된 모든 요소는 해당 요소를 사용하는 애플리케이션이나 사용 빈도에 관계없이 유효성 검사가 필요합니다.
3. 서비스의 기본 보안 매개 변수를 확인해야 합니다.
4. 다양한 통신 프로토콜을 통해 서비스에 연결하세요.
5. 서비스의 여러 채널을 동시에 호출하면 성능 및 확장성 문제가 발생할 수 있습니다.

따라서 인터페이스 계층 테스트가 특히 필요합니다. ​​

1. 구성 요소 또는 애플리케이션 동작을 시뮬레이션합니다. 정확성, 완전성, 일관성 및 속도를 보장하기 위해 AI 테스트에서 AI 애플리케이션과 인간, 기계 및 소프트웨어 인터페이스의 복잡성을 시뮬레이션해야 합니다.
2. 비표준 코드 사용 여부를 확인하세요. 오픈 소스 라이브러리를 사용하고 실제 애플리케이션을 채택하면 비표준 코드와 데이터를 엔터프라이즈 IT 환경에 가져올 수 있습니다. 그러므로 이것들은 모두 확인되어야 한다.

AIaaS 솔루션에서 사용자 경험 보장

사람들이 주로 원격으로 일하고 생활하는 새로운 사회 현실에서 고객 경험은 비즈니스 성공의 필수 요소가 되었습니다. 이는 인공지능 체계의 더 큰 목표입니다. 비기능 테스트는 성능, 보안, 접근성 등의 속성을 검증하여 의미 있는 고객 경험을 제공하는 검증된 현상입니다. 일반적으로 차세대 기술은 경험 보장의 복잡성을 증가시킵니다.

다음은 AI 테스트 프레임워크 전반에 걸쳐 사용자 경험을 보장하기 위한 몇 가지 중요한 설계 고려 사항입니다.

1. 경험을 위한 테스트가 아닌 경험을 위한 디자인. 엔터프라이즈 AI 전략은 최종 사용자의 관점에서 시작되어야 합니다. 테스트 팀이 실제 고객을 대표하는지 확인하는 것이 중요합니다. 디자인 초기에 클라이언트를 참여시키는 것은 디자인에 도움이 될 뿐만 아니라 초기에 클라이언트의 신뢰를 얻는 데도 도움이 됩니다.
2. 테스트 최적화 모델을 구축하여 민첩성과 자동화를 달성하세요. 사용자 경험 문제는 테스트 주기의 "군집" 단계부터 고려해야 합니다. 사용자 경험에 대한 초기 테스트는 빌드-테스트 최적화된 개발 주기를 달성하는 데 도움이 되기 때문입니다.
3. 민첩한 방법으로 지속적인 보안을 유지하는 것이 중요합니다. 기업 보안 팀을 다음과 같은 민첩한 팀의 일원으로 구성하십시오. 1) 테스트 "군집" 기간 동안 조직의 위협 모델을 소유하고 검증합니다. 2) SaaS AI 솔루션 아키텍처가 가질 수 있는 모든 다중 채널 인터페이스에서 구조적 취약성을 평가합니다. 가상의 해커의 관점에서).
4. 속도가 핵심입니다. 볼륨, 속도, 다양성, 가변성과 같은 AI 데이터의 속성에는 전처리, 병렬/분산 처리 및/또는 스트림 처리가 필요합니다. 성능 테스트는 사용자가 시스템에서 기대하는 속도에 필요한 분산 처리 설계를 최적화하는 데 도움이 됩니다.
5. 텍스트 및 음성 테스트의 뉘앙스도 중요합니다. 많은 연구 조사에 따르면 대화형 AI는 여전히 기업의 최우선 과제로 남아 있습니다. 증강현실, 가상현실, 엣지 인공지능 등 신기술이 계속해서 등장하면서 텍스트, 음성, 자연어 처리 테스트 등의 요구사항을 모두 해결할 수 있어야 합니다.
6. 시뮬레이션은 한계를 테스트하는 데 도움이 됩니다. 사용자 시나리오를 검토하는 것은 경험 보장의 기초입니다. AI의 경우 이상, 오류 및 위반을 테스트하면 시스템 동작을 예측하는 데 도움이 되며, 결과적으로 AI 애플리케이션의 오류/내결함성 수준을 검증하는 데 도움이 됩니다.
7. 신뢰, 투명성, 다양성. AI 결과에 대한 기업 사용자의 신뢰를 검증하고, 데이터 소스와 알고리즘의 투명성을 확인하고, 위험 감소를 목표로 투명성을 요구하고 AI에 대한 신뢰도를 높이며, AI 윤리와 정확성을 검사하기 위한 데이터 소스와 사용자/테스터의 다양성을 보장합니다. 비판적인. 이를 위해서는 테스터는 도메인 지식을 향상시킬 뿐만 아니라 대기업 IT의 데이터, 알고리즘 및 통합 프로세스에 대한 기술적 노하우를 이해해야 합니다.

결론

즉, 지속적인 테스트는 모든 기업이 인공지능 플랫폼 솔루션을 채택하기 위한 기본 요구 사항입니다. 따라서 우리는 데이터 설계, 알고리즘, 통합 및 경험 보증 활동을 개선하기 위해 모듈식 접근 방식을 채택해야 합니다. 이를 통해 기업 IT가 내부 및 외부 AI 구성 요소의 빈번한 변경을 수용할 수 있도록 지속적인 테스트 생태계를 구축하는 데 도움이 될 것입니다.

번역가 소개

Zhu Xianzhong, 51CTO 커뮤니티 편집자, 51CTO 전문 블로거, 강사, 웨이팡 대학의 컴퓨터 교사이자 프리랜스 프로그래밍 업계의 베테랑입니다. 초창기에는 다양한 Microsoft 기술에 집중했습니다(ASP.NET AJX 및 Cocos 2d-X 관련 기술 서적 3권 집필). 지난 10년 동안 그는 오픈 소스 세계에 전념했습니다(인기 있는 풀 서비스 기술에 익숙함). 스택 웹 개발 기술)을 배우고 OneNet/AliOS+Arduino. /ESP32/Raspberry Pi 등 IoT 개발 기술과 Scala+Hadoop+Spark+Flink 등 빅데이터 개발 기술에 대해 배웠습니다.

원제: ​​AI 플랫폼 채택을 위한 품질 엔지니어링 설계​​​, 저자: Anbu Muppidathi​

위 내용은 인공지능 플랫폼 솔루션의 품질 엔지니어링 설계의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!