AI 산업 애플리케이션: 데이터 위빙은 AI 애플리케이션 교육 혁신을 돕습니다.

#본 글은 모두가 프로덕트 매니저의 “오리지널 인센티브 플랜”으로 제작되었습니다.

이제 대규모 AI 모델이 큰 인기를 끌고 모든 기업이 이를 원하지만, 이 프로세스를 실현하는 데 필요한 알고리즘과 데이터는 파악하기 쉽지 않습니다. 그 중에서도 데이터 전송 및 관리가 큰 문제이다. 이 기사에서는 AI 애플리케이션 훈련의 병목 현상에 초점을 맞추고 AI 훈련의 어려움을 요약하며, 이를 IDC 분석 보고서와 결합하여 "데이터"가 가장 큰 병목 현상이라는 결론을 내리고 이 문제에 대한 해결책을 고려합니다.

1. 제품 배경

"최근 AI에 대해 다시 논의하는 목소리가 나오고 있습니다. 지난 2년간 AI를 관망했던 태도와 달리 ChatGPT를 적용하면서 AI 시대가 실제로 도래했다고 말하는 분들이 많으며, 제품 그리고 운영 학생들은 ChatGPT가 무엇인지, Stable Diffusion이 무엇인지 등을 이해하느라 바쁘지만, 알고리즘 엔지니어들은 미친 듯이 두통을 앓고 있고 미친 듯이 불평을 하고 있습니다. 리더들은 가능한 한 빨리 대형 모델을 내놓고 알고리즘 모델을 개선하라고 요구합니다. 가능한 한 빨리 지표와 서비스 사업을 진행했습니다. 알고리즘 팀을 지나서 Zhang Gong과 Hu Gong의 대화를 들었습니다.

Gong Zhang: 후 형제님, 모델 훈련은 잘 진행되고 있나요?

공후: 아, 한 문장으로 설명하기가 어렵네요. 자료가 없어서 결국 사업부에 제출했거나, 수집한 자료가 다 달라서 못 받았던 거에요. 사용된?

공장: 여기도 마찬가지예요. 최근 고객의 사진과 동영상이 10T가 넘었는데, 저희 팀에서 데이터를 가져오는 데만 시간이 많이 걸렸어요.

공후는 우리가 빠르게 데이터를 획득하고 관리할 수 있는 데이터 플랫폼을 기업에서 구축할 수 있다면 우리가 일상 업무에서 데이터를 더욱 편리하게 활용할 수 있을 것이라고 말했습니다. ”

위 대화를 듣고 저는 최근에 데이터 위빙이라는 아이디어를 바탕으로 고객을 위해 구축한 데이터 관리 플랫폼이 바로 고객의 문제를 해결할 수 있다는 생각이 들었습니다. 그래서 신속하게 제품을 자세히 설명하고 방법을 알려주었습니다. "데이터"를 사용합니다. "위빙(weaving)"이라는 설계 개념은 사용자가 AI 응용 교육에서 데이터 병목 현상을 극복할 수 있도록 데이터 관리 플랫폼을 구축하는 데 사용됩니다.

2. AI 훈련 적용의 어려움

인력의 주관적인 문제를 제외하고, AI 응용훈련의 객관적인 어려움을 정리해보면 다음과 같은 세 가지로 요약할 수 있습니다.

고품질 데이터: 알고리즘 훈련에서 좋은 결과를 얻으려면 첫 번째 조건은 고품질 데이터입니다. 그러나 고품질 데이터를 얻는 방법에는 다음과 같은 어려움이 있습니다.

데이터 다양성: 다양한 형식의 정형/비정형 데이터가 있으며, 다양한 시스템에서 제공되는 데이터에는 통일된 표준이 부족합니다.
데이터 배포: 많은 비즈니스 데이터가 개별적으로 저장되며 통합된 데이터 관리 플랫폼이 부족하여 애플리케이션 교육 전에 데이터를 얻기가 어렵습니다.
데이터 주석: 데이터는 즉시 얻을 수 있지만, 많은 양의 비즈니스 데이터에 적용하려면 주석을 달아야 하며, 주석에는 시간이 많이 걸리고 노동 집약적입니다.

효율적인 컴퓨팅 성능: 모델 교육을 의미하며 일반적으로 많은 컴퓨팅 성능이 필요하며 동시에 컴퓨팅 성능을 효율적으로 사용하기가 어렵습니다

대형 모델이 수시로 승격되면서 모델 사이즈도 점점 커지고, 컴퓨팅 파워에 대한 수요도 급격하게 늘어나고 있습니다.
데이터 저장이 개별적이면 데이터에 대한 액세스 속도가 느려집니다. 클러스터 컴퓨팅 성능을 사용하더라도 병렬 처리가 불가능하면 컴퓨팅 성능이 효율적으로 적용되지 않습니다.

성숙한 프레임워크: 성숙하고 안정적이며 확장성이 뛰어난 알고리즘 프레임워크가 필요한 알고리즘 애플리케이션을 의미합니다

응용 프레임워크: 현재 국내외에는 딥러닝 알고리즘 프레임워크가 많이 있습니다. 알고리즘 연구(Pytorch)와 산업 응용(Tensorflow)을 위해서는 서로 다른 프레임워크를 선택해야 합니다.
데이터 변환: 사용되는 프레임워크와 언어가 다르기 때문에 고품질의 데이터를 준비하더라도 다양한 언어와 훈련 프레임워크에 빠르게 적응해야 합니다.

요약: AI 응용 훈련의 세 가지 어려움을 분석한 결과 모두 데이터와 관련이 있습니다. 따라서 데이터 문제를 해결할 수 있다면 AI 응용 훈련이 병목 현상을 극복하는 데 효과적으로 도움이 될 수 있습니다.

3. 데이터가 AI 애플리케이션의 병목 현상인가요?

응용 측면의 데이터를 요약하는 것이 AI 응용 훈련의 병목 현상이지만 그렇게 생각하는 사용자는 몇 명이나 될까요? 설명하려면 데이터 조각이 필요합니다.

인공지능 응용 분야의 주요 과제 순위

인공지능 모델 개발 과정에서 데이터 준비에 얼마나 많은 노력이 투자되나요

참고: 데이터는 IDC 통계 보고서에서 가져온 것입니다

통계에서 알 수 있듯이 사용자의 29%는 인공지능 애플리케이션에 훈련 및 테스트 데이터가 부족하다고 믿고 있으며, 사용자의 85%는 작업량의 절반 이상이 데이터 준비에 소요된다고 믿고 있습니다.

요약: 데이터가 실제로 AI 애플리케이션의 병목 현상을 일으키는 것으로 입증되었으므로 데이터에서 진입점을 찾아 통합된 표준과 대량의 고가용성 데이터 소스에 대한 빠른 액세스를 제공하여 제품을 수행하는 것을 고려할 수 있습니다. 포지셔닝을 계획하고 있습니다.

4. 제품 디자인

데이터를 진입점으로 찾은 후, 데이터 기반 제품을 구축하는 방법에 대해 생각했습니다. 위의 분석을 바탕으로 우리 제품에서 데이터 기반 문제 3가지를 해결해야 한다는 것을 알 수 있습니다.

• 질문 1: 데이터 저장, 원본 데이터의 저장 위치를 ​​변경하지 말고 데이터 저장 비용을 최소화하도록 노력하세요.
• 질문 2: 빠른 액세스, 초기 데이터 쿼리부터 데이터 추론까지, 필요한 데이터를 빠르게 검색하는 것이 가장 좋습니다.
• 질문 3: 복잡한 데이터를 표준화하여 쉽게 적용할 수 있도록 표준을 통일하세요.

전통적인 데이터 관리 플랫폼을 기반으로 "데이터 위빙 + 지식 그래프" 개념을 채택하여 위의 문제를 해결하기 위한 혁신적인 설계를 수행합니다. 각 이슈의 획기적인 포인트는 다음과 같습니다.

• 질문 1: 데이터 위빙 아이디어를 기반으로 한 디자인
• 질문 2: 지식 그래프 아이디어를 기반으로 한 디자인
• 질문 3: 통합 데이터 플랫폼 기반의 외부 서비스 제공

다음 단계는 제품의 상세 디자인으로, 제품 포지셔닝, 적용 아키텍처, 차별화된 경쟁력, 구축 경로 등을 소개합니다.

1. 제품 아키텍처

1) 제품 포지셔닝

데이터 위빙의 아이디어를 활용하여 고품질의 데이터가 필요한 고객에게 서비스를 제공하기 위해 지식 그래프 스타일의 데이터 관리 플랫폼을 제공합니다.

참고: AI 응용 훈련의 데이터 병목 현상을 해결하는 것이 주요 목표이지만 제품 기획 관점에서 사용자 시나리오를 확장했으며 데이터 서비스가 필요한 사람은 누구나 이 제품의 대상 사용자입니다.

2) 제품 애플리케이션 아키텍처

데이터 계층에서 제품 애플리케이션 계층까지 다음과 같은 제품 아키텍처를 설계합니다.

데이터 계층: 다양한 유형의 데이터는 물론 구조화된 데이터와 구조화되지 않은 데이터에 대한 액세스를 지원합니다. AI 훈련에는 다양한 유형의 데이터가 있으며, 특히 여러 유형의 데이터가 필요한 다중 모드 애플리케이션이 있습니다.

저장 계층: 데이터의 개별적 특성을 고려하여 다양한 위치에 데이터 저장을 지원하고 클라우드 데이터에서 로컬 데이터로의 액세스를 지원해야 합니다.

데이터 관리 플랫폼: 이번에 설계할 핵심 제품은 주로 네 부분으로 구성됩니다.

1. 데이터 거버넌스: 기존 데이터 관리 플랫폼이 갖고 있는 공통 모듈로, 데이터 분석, 정리, 규칙 정의 등의 기능을 제공합니다.
2. 데이터 보안: 또한 전통적인 모듈이며 데이터 둔감화, 보안 데이터 전송 등 데이터 보안과 관련된 기능을 제공합니다.
3. 데이터 가상화 스토리지 및 분산 캐시: 여기서는 데이터 위빙이라는 개념을 사용하여 다양한 플랫폼의 데이터를 그리드로 위빙하여 데이터 뷰를 형성하는 동시에 저장된 데이터의 논리적 정보만 가상화합니다. 메타데이터 마이그레이션 및 복사는 스토리지 비용을 절감하지만, 데이터를 빠르게 얻기 위해 자주 액세스하는 데이터를 캐시하고 AI 알고리즘 훈련을 위한 데이터의 I/O 속도 및 병렬성을 향상시키고 컴퓨팅을 극대화하도록 설계에 분산 캐시를 제공합니다. 전력 클러스터 효율성을 강화합니다.
4. 지식 그래프: 데이터를 정리하고 규칙을 정의하여 지식 그래프 트리플 형식으로 저장하고, 지식 그래프 형식으로 쿼리 서비스를 제공합니다. 지식 그래프는 검색 추론에 도움이 되며 엔터티를 통해 전달될 수 있습니다. 예를 들어 영화 비디오 데이터를 쿼리하면 "People are on the road to 당황"을 검색할 수 있습니다. 배우 "Wang Baoqiang"과 "Xu Zheng"을 통해 "Tai 囧"이 됩니다. 연관 추론 쿼리를 통해 플랫폼에서 사용자가 필요한 데이터를 빠르게 추출할 수 있습니다.

데이터 서비스: 플랫폼을 설계한 후 외부 서비스를 위한 출구 확보가 필요합니다. 제품 포지셔닝부터 주로 toB 고객을 대상으로 하기 때문에 시각적 서비스와 API 서비스를 모두 고려해야 합니다.

• API/SDK 서비스: 이 글에서 해결하고 싶은 AI 훈련 애플리케이션 병목 현상 등 기술적 역량을 갖춘 기업이나 사용자의 경우, AI 플랫폼을 데이터 플랫폼의 API 서비스와 직접 통합해 필요한 데이터를 수집하고 정리된 데이터를 모델 학습에 사용합니다. 참고: 일반적으로 AI 훈련 플랫폼에는 주석이 달린 데이터가 필요하므로 먼저 주석 플랫폼을 연결한 후 해당 데이터를 AI 훈련 플랫폼으로 직접 전송할 수 있습니다.
• 시각적 쿼리: 기술적인 수준의 도킹을 고려하는 것 외에도 제품 관리자, 운영 관리자 등 플랫폼에서 데이터를 쿼리하고 데이터를 다운로드하는 등 비즈니스 사용자의 행동도 고려해야 합니다. 플랫폼 자체에서 제공하는 시각적 쿼리 데이터를 검색하고 다운로드한 후 가져오기 다른 비즈니스 플랫폼에서는 그래프 구조를 채택하고 특정 데이터를 검색하여 참조합니다. , 사용자 추론과 쿼리를 용이하게 하기 위해 관련 데이터가 동시에 표시됩니다.

참고: Tianyancha 스크린샷은 학습 참고용으로만 사용됩니다

2. 상용화

제품이 출시되면 상용화가 불가능하므로, 제품 기획 단계에서는 다음 3가지 측면에서 상용화 방향을 명확하게 고려해야 합니다.

1) 콘텐츠 판매

B-end 고객을 위해 '데이터 관리 플랫폼' 표준 제품과 '기술 솔루션' 2가지 판매 콘텐츠를 제공합니다.

• 표준 제품: 데이터 관리 플랫폼이 없는 사용자의 경우 표준 제품을 구입하고 데이터에 액세스한 후 비즈니스에 적용하면 즉시 사용할 수 있습니다.
• 기술 솔루션: 디지털 전환 추세의 영향으로 많은 B측 기업 고객은 어느 정도 자체 데이터 관리 플랫폼을 보유하게 될 것입니다. 따라서 toB의 또 다른 판매 포인트는 회사의 기존 제품을 보완할 수 있는 성숙한 기술 솔루션을 판매하는 것입니다. 전환과 업그레이드를 수행하려면 이때 "데이터 위빙 + 지식 그래프" 설계 아이디어를 기반으로 고객의 제품을 최하위 계층에서 서비스 계층으로 전환해야 합니다.

2) 판매방법

B-end 제품의 일반적인 판매 모델은 '채널 협력'과 '직접 판매' 두 가지입니다.

• 채널 협력: 두 가지 유형의 채널 협력이 선택됩니다. 하나는 지역적으로 홍보할 에이전트이며, 다른 하나는 기술 역량을 갖춘 중앙 에이전트를 찾아 데이터 관리 플랫폼과 협력하는 것입니다. 서로의 장점을 보완하고 함께 외부 세계에 홍보할 수 있습니다.
• 직접판매 : 제품 출시, 광고 프로모션, 고객 방문 등을 통한 제품 직접 판매

3) 차별화의 장점

새로운 디자인 아이디어를 기반으로 한 데이터 관리 플랫폼인 만큼, 제품 판매 과정에서 기존 데이터 관리 플랫폼과의 차별화된 장점을 반영해야 사용자를 따라잡을 수 있으며, 이를 다음과 같은 3가지 장점으로 요약할 수 있습니다. :

• 데이터 위빙: 이 제품은 데이터 관리를 위해 데이터 위빙 아이디어를 사용하고 데이터 가상화 스토리지를 사용하여 데이터의 물리적 저장 비용을 줄이는 동시에 데이터 캐싱을 사용하여 데이터 획득에 대한 액세스 지연을 줄입니다. AI 응용 훈련 중.
• AI 기능: 다양한 조건을 통한 기존 데이터 플랫폼 검색 방식과 달리 이 제품은 사용자가 간단한 조건만 입력하면 관련 데이터 관계 토폴로지를 반환하여 지식 그래프 보기 형식으로 직접 표시할 수 있습니다. "데이터는 사람을 찾는다".
• 성숙한 표준 제품: 기술적인 솔루션을 판매할 수 있지만 성숙한 표준 제품 없이는 고객에게 감동을 주기 어렵습니다. 따라서 대규모의 종합 데이터 관리 플랫폼을 판매하는 기존 제조업체와 달리 "작지만 정교한" 원스톱 데이터를 판매합니다. 관리 플랫폼.

3. 건설 경로

제품의 완성도에도 지속적인 시공 경로가 필요합니다. 본 제품의 시공 과정 중 '프로젝트 폴리싱 제품'을 기준으로 크게 두 단계로 구성됩니다.

• 프로젝트 납품, 기술 침전: 1/2의 민영화된 데이터 프로젝트를 수행하여 데이터 위빙 및 지식 그래프 구축에 대한 아이디어가 프로젝트에 침전되고 기술 침전이 달성됩니다.
• 제품 구현 및 브랜드 홍보: 실제 프로젝트에서 제품을 추출하고 반복적으로 구현합니다. 제품을 구축한 후 이를 브랜드화하여 대외적으로 홍보합니다.

5. 결론

이 글은 AI 응용 훈련의 병목 현상에 초점을 맞춰 AI 훈련의 어려움을 요약하고, 이를 IDC 분석 보고서와 결합하여 '데이터'가 가장 큰 병목 현상이라는 결론을 내리고 이 문제에 대한 해결책을 고려합니다.

데이터 위빙과 지식 그래프의 개념을 기반으로 제품 변환 설계를 수행하고, 제품 포지셔닝, 제품 아키텍처, 응용 시나리오 등의 관점에서 "데이터 찾는 사람"의 지능형 데이터 관리 플랫폼을 자세히 소개하고, 또한 제품의 후속 비즈니스를 소개합니다. 프로모션 아이디어와 구성 경로는 AI 교육 플랫폼, 데이터 주석 플랫폼과 같은 데이터 애플리케이션 시나리오를 통해 고객은 물론 기존 데이터 관리 제품을 변환하고 업그레이드해야 하는 고객에게도 도움이 될 수 있습니다.

앞으로 데이터 위빙을 모델 병렬 학습의 실제 프로세스로 확장하는 아이디어를 더욱 탐구하고 데이터 효율성의 더 많은 타당성을 모색할 것입니다.

칼럼니스트

Eric_d, 모두가 프로덕트 매니저 칼럼니스트입니다. 저는 AI, 빅데이터 및 기타 분야에 열정을 갖고 있으며 요구사항 분석, 제품 프로세스 및 아키텍처 설계 능력도 뛰어납니다.

이 글은 모두가 제품 관리자의 "원래 인센티브 계획"에서 작성되었습니다.

제목 사진은 CC0 라이선스를 기반으로 Unsplash에서 가져온 것입니다.

위 내용은 AI 산업 애플리케이션: 데이터 위빙은 AI 애플리케이션 교육 혁신을 돕습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!