화산 엔진 도구 기술 공유: AI를 사용하여 제로 임계값으로 데이터 마이닝을 완료하고 SQL 작성을 완료합니다.

BI 도구를 사용하면서 자주 접하게 되는 질문은 "SQL을 모르면 어떻게 데이터를 생산하고 처리할 수 있는가? 알고리즘을 모르면 마이닝 분석을 할 수 있는가?"입니다. 전문 알고리즘 팀이 데이터 마이닝을 수행하면 데이터 분석 및 시각화도 상대적으로 단편적으로 나타납니다. 알고리즘 모델링과 데이터 분석 작업을 효율적으로 완성하는 것도 효율성을 높이는 좋은 방법입니다.

동시에 전문 데이터 웨어하우스 팀의 경우 동일한 주제의 데이터 콘텐츠는 "반복적인 구성, 상대적으로 분산된 사용 및 관리"라는 문제에 직면합니다. - 동일한 주제, 다른 콘텐츠를 가진 데이터를 생산할 수 있는 방법이 있습니까? 한 작업에 같은 시간이요? 생성된 데이터 세트를 데이터 구성에 다시 참여하기 위한 입력으로 사용할 수 있나요?

1. DataWind의 시각적 모델링 기능이 출시되었습니다

Volcano Engine에서 출시된 BI 플랫폼 DataWind 지능형 데이터 통찰력이 새로운 고급 기능-시각적 모델링을 출시했습니다.

사용자는 시각적인 드래그, 풀, 연결 작업을 통해 복잡한 데이터 처리 및 모델링 프로세스를 명확하고 이해하기 쉬운 캔버스 프로세스로 단순화할 수 있습니다. 모든 유형의 사용자가 아이디어에 따라 데이터 생성 및 처리를 완료할 수 있습니다. ​​그들이 원하는 것은 얻는 것이므로 데이터 생산의 한계점을 줄입니다.

Canvas는 동시에 여러 세트의 캔버스 프로세스 구축을 지원합니다. 하나의 그림으로 여러 데이터 모델링 작업의 구성을 실현하고 데이터 구성의 효율성을 향상하며 작업 관리 비용을 줄일 수 있습니다. 또한 Canvas는 40개 이상의 작업을 통합하고 캡슐화합니다. 다양한 종류의 데이터 정리 및 기능 엔지니어링 알고리즘을 다루며 기본부터 고급 데이터 생성 기능까지 다루며 복잡한 데이터 기능을 완성하기 위해 코딩이 필요하지 않습니다.

2. 제로 임계값 SQL 도구

데이터 생산 및 처리는 데이터를 얻고 분석하는 첫 번째 단계입니다.

기술에 익숙하지 않은 사용자의 경우 SQL 구문 사용에 대한 특정 임계값이 있습니다. 동시에 로컬 파일을 정기적으로 업데이트할 수 없으므로 매번 수동으로 대시보드를 다시 실행해야 합니다. 데이터를 획득하는 데 필요한 기술 인력을 예약해야 하는 경우가 많으며 데이터 획득의 적시성과 만족도가 크게 떨어지므로 제로 코드 데이터 구성 도구를 사용하는 것이 특히 중요합니다.

다음은 제로 임계값 데이터 처리가 업무에 어떻게 적용되는지에 대한 두 가지 일반적인 시나리오입니다.

2.1 [시나리오 1] 생각하는 대로 얻고, 데이터 처리 프로세스는 시각적으로 완료됩니다.

제품 운영 반복에서 다양한 데이터의 시기적절한 입력 피드백이 긴급하게 필요한 경우 데이터 처리 프로세스를 추상화하고 데이터 처리 프로세스를 추상화할 수 있습니다. 시각적 모델링 및 드래그 연산자를 통해 구성할 수 있습니다.

날짜별, 도시 단위별 주문 건수와 주문 금액을 구하고, 일일 소비량 상위 10위권의 도시 데이터를 구하려는 경우 동작은 다음과 같습니다.

일반 데이터 처리 과정	시각적 모델링 과정
기술 학생들에게 주문 ID/주문 금액/사용자 ID/주문 날짜 도시 등을 포함한 주문의 세부 데이터를 가져오도록 요청하세요. 데이터를 주문 날짜, 도시, 등의 관점 연산을 통해 지표는 주문 금액의 합과 주문 ID의 합계 관점 결과를 금액별로 정렬한 다음 일련번호를 적습니다 사용 상위 10개 데이터를 필터링하는 필터	데이터 소스 선택, 라이브러리 테이블 선택 또는 CSV 파일 업로드 또는 LarkSheet 사용해야 하는 필드 정보 필터링, 직접 구성 필드 이름 및 형식 집계 연산자를 선택하고 날짜 및 도시를 기준으로 집계 계산 주문량 및 주문 금액 상위 값 연산자를 선택하고 상위 10대 금액을 가져옵니다 데이터 세트를 출력하려면 Fengshen에 적용하여 차트를 그릴 수 있습니다

2.2 [시나리오 2] 여러 테이블을 빠르게 결합하여 다중 데이터 연관 계산을 쉽게 해결

데이터 처리 과정에서는 결합하고 사용해야 하는 여러 데이터 소스가 상위 수준으로 마스터하기 어렵습니다. Excel을 통한 Vlookup 및 기타 알고리즘은 시간이 오래 걸립니다. 동시에 데이터의 양이 많은 경우 컴퓨터 성능으로 인해 데이터 결합 계산을 완료하지 못할 수도 있습니다.

상대적으로 데이터량이 많은 주문 데이터 2개와 고객 속성 정보 테이블이 있는 경우 청구 금액과 비용 금액을 기준으로 수익 금액을 계산한 다음 상위 100명의 사용자 주문 정보를 기준으로 가져옵니다. 수익 기여도

일반 데이터 처리 과정	시각 모델링 처리 과정
두 개의 주문 데이터를 열어야 하며 데이터를 하나의 파일로 복사 VloopUp을 사용하여 주문의 사용자 데이터와 고객의 사용자 데이터를 찾은 다음 두 데이터를 결합하여 새로운 데이터를 생성합니다 피벗 테이블을 사용하여 사용자 청구 금액과 비용 금액을 계산하고 수익 금액을 계산합니다 수익 금액별로 정렬된 TopN 고객 정보 가져오기	CSV 파일/LaskSheet를 업로드하여 데이터 입력을 구축할 수 있습니다 그러면 3월/4월 주문 데이터를 하나의 데이터로 병합할 수 있습니다. 고객 정보 속성 테이블을 연결하고 고객 속성 정보를 바인딩합니다. Aggregation을 선택하여 청구 금액과 비용 금액을 계산합니다. 고객별 금액에 따라 계산란을 선택하여 청구 금액과 비용 금액을 기준으로 수익을 계산합니다. 금액 이익 금액별로 정렬하여 TopN 고객 정보를 얻습니다

3. AI 데이터 마이닝은 더 이상 손이 닿지 않습니다

기본적인 데이터 정리가 더 이상 데이터 구축과 데이터 분석을 만족시킬 수 없을 때, 데이터에 숨겨진 가치를 더 많이 발굴하려면 AI 알고리즘 지원이 필요합니다. 알고리즘 팀 학생들은 시각적 차트를 잘 다루지 못하여 신속하게 적용할 수 있는 좋은 데이터를 생성할 수 없는 반면, 일반 사용자는 AI 코드의 높은 임계값으로 인해 이 알고리즘의 개발이 직접적으로 억제되어 수요가 높아질 수 있습니다. 하지만 수요에 대한 두려움은 너무 얕고 가치를 제대로 평가할 수 없습니다. 이때 알고리즘 마이닝은 사치가 됩니다.

DataWind의 시각적 모델링은 30가지 이상의 일반적인 AI 연산자 기능을 캡슐화합니다. 사용자는 알고리즘의 역할을 이해하고 구성을 통해 알고리즘 연산자의 입력 및 훈련 대상을 구성하기만 하면 구성된 Get 예측에 따라 완료됩니다. 다른 데이터 콘텐츠에 대한 결과를 빠르게 얻을 수 있습니다. ​

다음은 Python에서 데이터 마이닝을 완료하는 방법을 보여주기 위해 두 가지 일반적인 시나리오를 예로 들어 설명합니다. ​

3.1 [초등] Python을 몰라도 데이터 마이닝을 할 수 있습니다

사용자의 일상 업무에는 기본적으로 Python 작성이 포함되지 않지만, 데이터 마이닝에 대한 수요 시나리오가 있습니다. 그는 기존의 고의도 고객 샘플을 기반으로 고객 의도 마이닝을 수행해야 합니다. 이 시점에서 데이터 마이닝 프로세스는 시각적 모델링을 통해 구축할 수 있습니다.

1. 샘플 데이터와 모든 데이터를 데이터 입력으로 드래그합니다.
2. 모델 훈련을 위해 XGB 알고리즘과 같은 분류 알고리즘을 끌어다 놓습니다.
3. 예측 연산자를 드래그하여 모델과 예측을 위한 모든 데이터 간의 관계를 구축하세요.
4. 실제 데이터와 예측 결과를 출력 데이터 세트와 결합하여 모든 사용자 데이터의 의도 분포를 분석합니다.

3.2 [고급] Python을 작성하지 않고도 복잡한 알고리즘 모델을 구축할 수 있습니다

사용자는 기존 데이터를 기반으로 사용자 재구매 모델을 구축해야 합니다. 모델 구축 중에는 데이터 정리 및 형식 변환 후 예측 모델을 구축하기 위해 그라디언트 부스팅 트리를 사용해야 합니다. 이때 시각적 모델링을 기반으로 재구매 모델 프로세스를 구축할 수 있습니다.

1. 행 병합: n 사용자 판매 데이터에 새로운 속성이 추가되거나 삭제되지 않은 경우 연산자(그림)(직사각형) 출력 데이터 테이블은 하나의 전체 데이터 테이블로 병합됩니다.
2. 누락된 값 대체: 속성 열에 null 값(null)이 있으면 후속 모델 계산에 영향을 미칩니다. 누락된 값 대체 연산자를 사용하여 새 속성이 없는 경우 null 값을 대체합니다. 사용자의 판매 데이터에 추가되거나 삭제되었으므로 여기서는 변경할 필요가 없습니다.
3. 원-핫 인코딩: 텍스트 유형 속성은 모델 교육에 직접 사용할 수 없으며 one_hot에 의해 숫자 벡터로 인코딩되어야 합니다. 예:

4. 그라디언트 부스팅 트리: 교육 데이터 피팅 및 출력을 담당합니다. 예측 모델에 사용할 수 있는 값(그림에 표시되지 않은 매개변수는 관리자가 수정할 필요가 없음):

5. Aggregation_1: 예측 데이터에서 중복을 제거하고 최대 확률을 취합니다.
6. 필드 추출: 필요한 라벨과 확률 값 출력을 추출합니다.

4. 다중 시나리오 및 다중 작업 구성, 관리는 더 이상 분산되지 않습니다

데이터 분석가로서 귀하는 데이터 세트를 구축하고 데이터 대시보드를 구축하는 데 일상적인 작업도 많이 합니다. 그러나 일반적으로 데이터 웨어하우스에서 얻은 하단 테이블은 넓은 테이블입니다. 이를 기반으로 다양한 시나리오 요구 사항에 따라 다양한 데이터 세트 작업이 구축됩니다.

이후 사용 시 점점 더 유사한 데이터 세트를 접하게 되지만 구체적인 논리를 잘 비교하고 확인할 수는 없습니다. 이때, 모든 데이터 세트 로직을 하나의 데이터 세트로 구성하고 생성하고, 각 데이터 세트를 태스크 프로세스를 통해 판단하고 정의할 수 있다면 좋겠습니다.

이 시나리오에서는 DataWind의 시각적 모델링 기능도 매우 잘 완성될 수 있습니다. 시각적 모델링 기능은 단일 데이터 세트가 여러 논리 프로세스에 의해 동시에 처리되어 여러 데이터 세트를 생성하도록 지원합니다. 주문 데이터와 사용자 데이터 처리를 예로 들어보겠습니다.

1. 사용자가 주문 통계를 보고 싶다면 주문 통계 데이터 세트에 대한 데이터 처리 프로세스를 구축할 수 있습니다.
2. 자세한 데이터를 보고 싶은 사용자가 있지만, 세부 필드를 처리하고 정리해야 하는 경우 주문 세부정보 데이터 세트의 처리 흐름을 구성할 수 있습니다.
3. 일부 사용자는 사용자 속성을 결합하여 사용자의 주문 분포를 계산한 다음 지표 집계와 결합된 다중 테이블 상관 관계를 구축하여 사용자 주문 통계 데이터 세트를 생성하기를 원합니다.
4. 동일한 로직으로 다중 테이블 연결 하에 사용자 주문 세부정보 데이터 세트를 생성할 수 있습니다.

따라서 하나의 작업과 두 개의 데이터 입력을 통해 4개의 데이터 세트 생성이 완료되며, 4개의 데이터 세트는 데이터 주체 도메인을 구성할 수 있으며, 이 작업을 통해 출력된 데이터 세트에서 후속 관련 데이터 활용이 가능합니다.

5 회사 소개

Volcano Engine 지능형 데이터 통찰력 DataWind는 빅 데이터의 세부 수준에서 셀프 서비스 분석을 지원하는 향상된 ABI 플랫폼입니다. 데이터 접근, 데이터 통합, 쿼리 및 분석까지 최종적으로 시각적 데이터 포털, 디지털 대형 화면, 관리 조종석 등의 형태로 비즈니스 사용자에게 제시되어 데이터가 가치를 발휘할 수 있도록 합니다.

위 내용은 화산 엔진 도구 기술 공유: AI를 사용하여 제로 임계값으로 데이터 마이닝을 완료하고 SQL 작성을 완료합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!