InsightMate를 사용하여 데이터 통찰력을 자동화하십시오

소개

오늘날의 데이터가 많은 세상에서 거대한 데이터 세트를 처리하는 것이 매우 압도적 일 수 있습니다. 그곳에서 Insightmate가 들어오는 곳입니다. 데이터를 탐색하도록 설계되었습니다. 데이터 세트를 업로드하면 질문에 대한 즉각적인 통찰력, 시각화 및 답변을 얻을 수 있습니다. Insightmate의 멋진 점은 자동화를 유연성과 혼합하는 방법입니다. 정적 차트를 던지는 대신 데이터 분석을 처음 접하거나 노련한 프로에 기반을 둔 동적이고 사용자 정의 가능한 대시 보드를 제공합니다. 이 기사에서는 Insightmate 개발의 여정을 안내합니다.

Insightmate의 중심에는 Google의 Geminiand Langsmith가 사물을 주시하고 있습니다.

학습 결과

• Insightmate의 핵심 구성 요소와 아키텍처를 이해하십시오.
• 자연 언어 데이터 세트 쿼리를 위해 Google Gemini를 통합하는 방법에 대해 알아보십시오.
• LLMOPS를 통한 AI 모델 성능 모니터링에서 Langsmith의 역할을 탐색하십시오.
• Insightmate가 동적, 사용자 정의 가능한 대시 보드 및 시각화를 생성하는 방법을 알아보십시오.
• 데이터 분석을 위해 InsightMate 설정 및 사용에 대한 실습 경험을 얻으십시오.

이 기사는 Data Science Blogathon 의 일부로 출판되었습니다 .

목차

• 소개
• Insightmate 란 무엇입니까?
• Insightmate는 어떻게 작동합니까?
• Insightmate 설정 : 단계별 가이드
  • 1 단계 : 저장소를 복제하십시오
  • 2 단계 : 가상 환경을 설정하십시오
  • 3 단계 : 가상 환경을 활성화합니다
  • 4 단계 : 필요한 종속성을 설치하십시오
  • 5 단계 : 환경 변수를 설정합니다
  • STEP6 : Streamlit을 사용하여 응용 프로그램을 실행하십시오
• Insightmate의 기능 개발
  • 데이터 세트의 초기 개요 생성
  • 자동 생성 된 대시 보드 개발
  • 사용자 정의 데이터 세트 생성
  • 사용자 정의 시각화 생성
  • Google Gemini와의 쿼리 기반 통찰력
• langsmith와 함께 llmops
• Insightmate 개발에 사용되는 도구에 대한 요약
• 결론
• 자주 묻는 질문

Insightmate 란 무엇입니까?

Insightmate는 사용자가 데이터 세트에서 쉽게 탐색, 시각화 및 통찰력을 얻을 수있는 직관적 인 데이터 분석 도구입니다. 핵심 기능은 원시 데이터를 최소한의 수동 개입으로 의미 있고 실행 가능한 통찰력으로 변환하는 것을 중심으로합니다. Insightmate는 사용자 정의 가능한 시각화와 AI 중심의 통찰력을 결합하여 사용자가 실시간으로 데이터와 상호 작용하여 일반 언어로 질문을하고 관련 답변을받을 수 있습니다. 내장 모니터링 기능을 통해 AI 모델은 신뢰할 수있는 결과를 지속적으로 제공하여 데이터 분석에서 초보자와 전문가 모두에게 강력한 동맹국이됩니다.

Insightmate는 어떻게 작동합니까?

Insightmate는 데이터 분석을 단순화하고 향상 시키도록 설계되었습니다.이 도구에는 사용자가 지원하는 데이터 세트에서 자세한 통찰력과 사용자 정의 가능한 시각화를 생성하는 데 중점을 둔 몇 가지 핵심 기능이 있습니다.

주요 기능 및 기능

• 사용자 정의 가능한 대시 보드 : Insightmate는 동적 대시 보드로 두드러집니다. 정적 차트와 달리이 대시 보드는 사용자가 제공 한 입력에 따라 적응하고이를 기반으로 시각화를 생성합니다.
• 데이터 세트 생성 : 특정 메트릭에 집중해야합니까? InsightMate를 사용하면 포함 할 열과 메트릭을 선택하고 선택할 수 있습니다. 이 필터링 된 데이터 세트를 추가 사용을 위해 CSV 파일로 다운로드 할 수도 있습니다.
• 자동 통찰력 : Magic은 Google Gemini에서 발생합니다. 이 기능을 사용하면 평범한 언어와 합리적 인 맥락 인식 답변으로 질문을 할 수 있습니다.
• LLMOPS 및 모니터링 : Gemini 모델을 Langsmith와 intergation함으로써 우리는 모델의 강력한 모니터링 및 성능 추적을 가능하게합니다. 이를 통해 생성 된 통찰력이 시간이 지남에 따라 신뢰할 수 있고 투명하게 유지됩니다.

Insightmate 설정 : 단계별 가이드

소스 코드를 확인하려면 Repo의 Final_app.py 파일을 참조하십시오 : repo_link

이제 현지 기계에서 InsightMate를 설정하고 실행하는 방법을 살펴 보겠습니다.

1 단계 : 저장소를 복제하십시오

Project Repository를 로컬 컴퓨터로 복제하여 InsightMate 사용을 시작하십시오. 이는 응용 프로그램의 소스 코드 및 모든 필수 구성 요소에 대한 액세스를 제공합니다.

 git 클론 https://github.com/keerthanareddy95/insightmate.git
CD InsightMate

2 단계 : 가상 환경을 설정하십시오

가상 환경은 종속성을 분리하고 프로젝트가 원활하게 실행되도록하는 데 도움이됩니다. 이 단계는 Insightmate가 다른 패키지의 간섭없이 작동 할 수있는 독립적 인 작업 공간을 설정합니다.

 # Windows 용 :
Python -M Venv Venv

# MacOS 및 Linux의 경우 :
Python3 -M Venv Venv

3 단계 : 가상 환경을 활성화합니다

가상 환경이 마련된 다음 단계는 필요한 모든 라이브러리와 도구를 설치하는 것입니다. 이러한 종속성은 데이터 시각화, AI 통합 등을 포함한 InsightMate의 핵심 기능을 가능하게합니다.

 # Windows 용 :
. \ venv \ scripts \ 활성화

# MacOS 및 Linux의 경우 :
소스 venv/bin/활성화

4 단계 : 필요한 종속성을 설치하십시오

가상 환경이 마련된 다음 단계는 필요한 모든 라이브러리와 도구를 설치하는 것입니다. 이러한 종속성은 데이터 시각화, AI 통합 등을 포함한 InsightMate의 핵심 기능을 가능하게합니다.

 PIP 설치 -R 요구 사항 .txt

5 단계 : 환경 변수를 설정합니다

AI 중심의 통찰력을 활용하고 모델 성능을 모니터링하려면 Google Gemini 및 Langsmith 용 API 키를 구성해야합니다. 이 설정은 InsightMate를 지능형 기능을 제공하는 클라우드 서비스에 연결합니다.

프로젝트의 루트에 .env 파일을 만들고 Google Gemini 및 Langsmith의 API 키를 추가하십시오.

 google_api_key = "your_google_api_key"
langchain_api_key = "your_langchain_api_key"
langchain_project = "your_langchain_project_name"

여기에서 API 키를 얻을 수 있습니다 - Gemini API, Langchain API

STEP6 : Streamlit을 사용하여 응용 프로그램을 실행하십시오

모든 것을 구성한 후 Sleamlit을 사용하여 Insightmate를 실행하십시오. 이 단계는 응용 프로그램을 시작하여 사용자 친화적 인 인터페이스와 상호 작용하고 실시간으로 데이터를 탐색 할 수 있습니다.

 sleamlit run final_app.py

Insightmate의 기능 개발

이 섹션에서는 InsightMate를 강력한 데이터 분석 도구로 만드는 핵심 기능으로 뛰어들 것입니다. 자동 시각화에서 자연어로 데이터 세트 쿼리에 이르기까지 이러한 기능은 데이터 탐색 및 통찰력 생성을 단순화하도록 설계되었습니다.

데이터 세트의 초기 개요 생성

• 사용자는 thecsv 파일을 간소화 UI의 파일 업로드 섹션을 업로드하고 파일이 업로드되면 Apandas Dataframe - Pd.df ()로 읽습니다.
• 결 측값과 불일치를 확인하는 기능을 구현합니다. 데이터가 깨끗한 경우 사용자는 데이터 세트를 탐색 할 수 있습니다.
• DF.Head () 메소드에서 생성 된 미리보기와 함께 행 수, 열 수 및 DF.Describe () 메소드를 사용한 통계 요약과 같은 데이터 세트에 대한 기본 정보가 사용자에게 제공됩니다.

자동 생성 된 대시 보드 개발

• 데이터 세트에서 숫자 및 범주형 열을 추출하여 별도의 변수로 저장합니다.
• 숫자 열의 경우 사용자 정의 기능을 사용하여 데이터 배포를 표시하도록 히스토그램이 자동으로 생성됩니다.

 # 4.1 수치 열에 대한 분포 플롯
        LEN (numeric_columns)이면> 0 :
            St.Write ( "#### 수치 열의 분포")
            IN RANGE (0, LEN (Numeric_Columns), 2)의 경우 : # 한 줄에 2 열을 표시
                cols = St.Columns (2) # 2 열을 나란히 만듭니다
                idx의 경우 열거의 열 (numeric_columns [i : i 2]) :
                    cols [idx]와 함께 : # 플롯을 별도의 열에 배치하십시오
                        plt.figure (figsize = (6, 4)) # 줄거리를 작게 만듭니다
                        sns.histPlot (df [column], kde = true, color = 'lightblue', bins = 30)
                        plt.title ({column} '의 f'diptribution)
                        St.Pyplot (plt)

막대 플롯 및 파이 차트는 범주 형 열의 범주 분포를 보여줍니다.

 # 4.1 수치 열에 대한 분포 플롯
        LEN (CANITEORICAL_COLUMNS)이면 0 :
            St.Write ( "#### 범주형 열 분포")
            IN의 경우 (0, LEN (CARCICARICAL_COLUMNS), 2) :
                cols = St.Columns (2)
                idx의 경우, 열거의 열 (caremical_columns [i : i 2]) :
                    cols [idx]와 함께 :
                        top_categories = df [column] .value_counts (). nlargest (10)
                        filterd_df = df [df [column] .isin (top_categories.index)]
                        plt.figure (figsize = (6, 4))
                        sns.CountPlot (x = 열, data = filtered_df, palette = "set2", order = top_categories.index)
                        plt.title ({column} '의 f'top 10 카테고리)
                        plt.xticks (Rotation = 45)
                        St.Pyplot (plt)
        
        #4.3 범주형 열에 대한 PIE 차트
        LEN (CANITEORICAL_COLUMNS)이면 0 :
            St.Write ( "#### 범주형 열에 대한 파이 차트")
            IN의 경우 (0, LEN (CARCICARICAL_COLUMNS), 2) :
                cols = St.Columns (2)
                idx의 경우, 열거의 열 (caremical_columns [i : i 2]) :
                    cols [idx]와 함께 :
                        pie_data = df [column] .value_counts (). nlargest (5)  
                        plt.figure (figsize = (6, 6))
                        plt.pie (pie_data, labels = pie_data.index, autopct = '%1.1f %%', colors = sns.color_palette ( "set3"))
                        plt.title ({column} '의 f'pie 차트)
                        St.Pyplot (plt) 

CustomData 세트 생성

• 사용자는 드롭 다운 메뉴에서 특정 열과 고유 한 값을 선택하여 데이터를 필터링 할 수 있습니다. 드롭 다운 메뉴는 열과 데이터 세트에서 사용 가능한 고유 값으로 채워집니다.
• 선택한 열과 값 만 포함 된 데이터 세트가 표시되며 사용자는이를 CSV 파일로 다운로드 할 수있는 옵션이 있습니다.

 selected_filter_column = St.Selectbox ( "필터로 열 선택", df.columns)
selected_value = st.selectbox (f " '{selected_filter_column}'에서 값을 선택하십시오.", df [selected_filter_column] .unique ())
filterd_df = df [df [selected_filter_column] == selected_value]
St.DataFrame (Filtered_df)

사용자 정의 시각화 생성

• 사용자는 다양한 플롯 유형 (예 : 히스토그램, 막대 플롯, 산점도) 중에서 선택하고 시각화 할 열을 지정할 수 있습니다.
• InsightMate는 조건부 코드 블록을 통해 처리되는 다른 플롯 유형을 사용하여 사용자 입력을 기반으로 플롯을 생성합니다.

if-else 문의 구조를 보여주는 샘플 코드 :

 # 줄거리 유형에 따라 다릅니다
        if plot_type == "히스토그램":
            selected_column = St.SelectBox ( "히스토그램의 열 선택", Numeric_Columns)
            St.Button ( "히스토그램 생성") 인 경우 :
                plt.figure (figsize = (8, 4))
                sns.histPlot (df [selected_column], bins = 30, kde = true, color = 'lightblue')
                plt.title ({selected_column} '의 f'histogram
                St.Pyplot (plt)

        elif plot_type == "bar plot":
            selected_column = St.SelectBox ( "막대 플롯의 열 선택", df.columns)
            St.Button ( "막대 플롯 생성") 인 경우 :
                plt.figure (figsize = (8, 4))
                sns.CountPlot (x = selected_column, data = df, palette = "set2")
                plt.title ({selected_column} '의 f'bar 플롯)
                St.Pyplot (plt)

Google Gemini와의 쿼리 기반 통찰력

업로드 된 CSV는 Google Gemini와의 상호 작용을 용이하게하기 위해 JSON 형식으로 변환됩니다.

 DataSet_json = df.to_json (Orient = 'split')

사용자는 데이터에 대해 자연어 질문을 할 수 있으며 AI는 데이터 세트의 내용을 기반으로 답변을 제공합니다.

 DataSet_json = df.to_json (Orient = 'split')
Prompt = F "DataSet (JSON 형식) : {DataSet_json}. \ nquestion : {user_question}"
응답 = chat_llm.invoke (프롬프트)
St.Write ( "### Gemini 's Answer")
St.Write (응답 .content)

langsmith와 함께 llmops

이 프로젝트는 AI 모델 성능을 추적하고 모니터링하는 랑 스미스를 통합합니다. Langsmith 추적을 가능하게함으로써 우리는 다음을 수행 할 수 있습니다.

• AI 성능 추적 : 모델이 사용자 쿼리에 어떻게 응답하는지 이해하십시오.
• 대기 시간 모니터 : 모델이 처리하고 답변을 반환하는 데 걸리는 시간을 측정하십시오.
• 추적 가능성 보장 : 각 호출 및 그 응답을 추적하여 모델 성능을 디버그 및 감사합니다.

Insightmate 개발에 사용되는 도구에 대한 요약

• 간소 : 웹 앱 인터페이스를 구축하고 대화식 경험을 제공하는 데 사용됩니다.
• 팬더 : 데이터 세트를로드 및 조작하고 데이터 요약을 제공합니다.
• Matplotlib & Seaborn : 데이터 세트의 다양한 플롯과 시각화를 생성합니다.
• Google Gemini AI ( Langchain을 통해) : 데이터 세트에 대한 사용자 쿼리에 대한 현대 응답을 제공합니다.
• Langsmith : AI 응답의 성능을 모니터링하고 추적하고 품질 결과를 보장합니다.

향후 향상

• Excel, JSON 등과 같은 여러 파일 형식에 대한 지원을 추가하려고합니다.
• InsightMate 내에서 누락되거나 일관성이없는 데이터를 처리하기 위해 데이터 청소 기능을 도입하려고합니다.
• AI가보다 복잡한 데이터 세트를 이해하고 분석하는 능력을 향상시킵니다.

결론

간단히 말해서, Insightmate는 데이터 탐색 및 시각화를 단순화하여 사용자가 원시 데이터를 실행 가능한 통찰력으로 전환 할 수있는 산들 바람입니다. 초보자이든 프로이든, 앱의 동적 대시 보드와 스마트 통합은 데이터 분석을 쉽고 효율적으로 만듭니다. 앱을 계속 개선하고 향상시킬 때 더 많은 기능과 개선을 기대할 수 있습니다.

Google Gemini와 Langsmith 에게이 프로젝트를 혁신적인 도구로 구축하는 데 큰 소리를 지르십시오!

여기에서 저장소를 확인할 수 있습니다.

주요 테이크 아웃

• InsightMate를 사용하면 요구에 맞는 동적 대시 보드로 데이터를 쉽게 탐색하고 시각화 할 수 있습니다. 더 이상 정적 차트가 없습니다 - 맞춤형 대화식 통찰력.
• Google Gemini를 통합하면 데이터에 대한 질문을 일반 언어로 질문하고 합리적이고 상황을 인식하는 답변을 얻을 수 있습니다.
• Langsmith 덕분에 Insightmate는 시간이 지남에 따라 AI 모델의 성능을 추적하고 모니터링합니다.
• 히스토그램에서 파이 차트에 이르기까지 Insightmate를 사용하면 선호도를 기반으로 다양한 시각화를 만들 수 있습니다. 원하는 방식으로 데이터를 필터링하고 플로팅 할 수 있습니다.

자주 묻는 질문

Q1. Insightmate 란 무엇입니까?

A. InsightMate는 데이터 세트에서 사용자 정의 가능한 대시 보드, 시각화 및 AI 생성 통찰력을 제공하여 데이터 분석을 단순화하는 도구입니다.

Q2. Insightmate로 어떻게 시작합니까?

A. 데이터 세트를 업로드하기 만하면 InsightMate는 자동 시각화를 제공하고 사용자 정의 가능한 대시 보드를 통해 데이터와 상호 작용할 수 있습니다.

Q3. Insightmate와 함께 어떤 유형의 시각화를 만들 수 있습니까?

A. InsightMate는 히스토그램, 바 플롯, 파이 차트 및 산란 플롯과 같은 다양한 시각화를 지원합니다.

Q4. Google Gemini는 Insightmate에서 어떻게 일합니까?

A. Google Gemini를 사용하면 데이터에 대해 일반 언어로 질문 할 수 있으며 데이터 세트를 기반으로 컨텍스트 인식 답변을 제공합니다.

Q5. Insightmate는 초보자에게 적합합니까?

A. 예, Insightmate는 초보자와 숙련 된 전문가 모두를 위해 설계되었으며 직관적 인 인터페이스와 사용하기 쉬운 기능을 제공합니다.

이 기사에 표시된 미디어는 분석 Vidhya가 소유하지 않으며 저자의 재량에 따라 사용됩니다.

위 내용은 InsightMate를 사용하여 데이터 통찰력을 자동화하십시오의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!