与洞察员自动化数据见解

介绍

在当今的数据繁多的世界中，处理庞大的数据集可能会非常不知所措。这就是洞察力的来源。它旨在使探索数据变得轻而易举。只需上传您的数据集，您就会获得即时见解，可视化和问题的答案。 Insightmate的最酷的是它如何将自动化与灵活性混合在一起。它不仅会向您投掷静态图表，还提供了动态的，可自定义的仪表板，这些仪表板会根据您的需求转移 - 无论您是新手数据分析还是经验丰富的Pro。在本文中，我将带您进行发展洞察力的旅程。

Insightmate的核心是Google的Geminiand Langmith密切关注事物，您可以放心，您获得的见解不仅是点对点，而且随着时间的流逝而可靠。

学习成果

• 了解Insightmate背后的核心组成部分和架构。
• 了解如何将Google Gemini集成到自然语言数据集查询中。
• 探索Langmith在使用LLMOP的AI模型性能监测中的作用。
• 探索洞察力如何生成动态，可自定义的仪表板和可视化。
• 在建立和使用洞察力进行数据分析方面获得动手实践经验。

本文作为数据科学博客马拉松的一部分发表。

目录

• 介绍
• 什么是洞察力？
• 洞察力如何工作？
• 设置Insightmate：逐步指南
  • 步骤1：克隆存储库
  • 步骤2：设置虚拟环境
  • 步骤3：激活虚拟环境
  • 步骤4：安装所需的依赖项
  • 步骤5：设置环境变量
  • 步骤6：使用简化运行应用程序
• 开发洞察力的功能
  • 数据集上的初始概述生成
  • 自动生成仪表板的开发
  • 定制数据集生成
  • 自定义可视化生成
  • 与Google Gemini基于查询的见解
• llmops和langsmith
• 有关开发洞察力的工具的摘要
• 结论
• 常见问题

什么是洞察力？

Insightmate是一种直观的数据分析工具，可以毫不费力地从其数据集中探索，可视化和获取洞察力。它的核心功能围绕着将原始数据转换为有意义的，可操作的见解，并使用最少的手动干预。通过结合可自定义的可视化和AI驱动的见解，InsightMate允许用户实时与数据进行交互，以简单的语言提出问题并接收相关答案。借助内置的监视功能，它可以确保AI模型始终如一地提供可靠的结果，从而使其成为数据分析中的初学者和专业人员的强大盟友。

洞察力如何工作？

Insightmate旨在简化和增强数据分析。该工具具有多个核心功能，主要关注从用户使用的数据集中生成详细的见解和可自定义的可视化。

关键功能

• 可自定义的仪表板：Insightmate以其动态仪表板脱颖而出。与静态图表不同，这些仪表板根据用户给出的输入进行调整，并基于它生成可视化。
• 数据集生成：需要专注于特定的指标吗？ Insightmate可让您选择包含哪些列和指标。您甚至可以将此过滤的数据集作为CSV文件下载，以供进一步使用。
• 自动见解：魔术发生在Google Gemini中。此功能使您可以用简单的语言和合理的上下文感知答案提出问题。
• LLMOPS和监视：通过将Gemini模型与Langsmith相结合，我们可以对模型进行强大的监视和性能跟踪。这样可以确保产生的见解会随着时间的流逝而保持可靠和透明。

设置Insightmate：逐步指南

如果您想查看源代码，请参阅repo中的final_app.py文件：repo_link

现在，让我们浏览如何在本地计算机上设置和运行洞察力：

步骤1：克隆存储库

首先将项目存储库克隆到您的本地计算机，以开始使用Insightmate。这提供了对应用程序源代码及其所有基本组件的访问。

 git克隆https://github.com/keerthanareddy95/insightmate.git
CD洞察力

步骤2：设置虚拟环境

虚拟环境有助于隔离依赖性并确保您的项目顺利运行。此步骤设置了一个独立的工作空间，供洞察员在不干扰其他软件包的情况下操作。

 ＃对于Windows：
Python -M Venv Venv

＃对于MacOS和Linux：
Python3 -M Venv Venv

步骤3：激活虚拟环境

有了虚拟环境，下一步是安装所有必要的库和工具。这些依赖性使洞察力的核心功能，包括数据可视化，AI集成等。

 ＃对于Windows：
。\ venv \ scripts \ activate

＃对于MacOS和Linux：
来源VENV/bin/activate

步骤4：安装所需的依赖项

有了虚拟环境，下一步是安装所有必要的库和工具。这些依赖性使洞察力的核心功能，包括数据可视化，AI集成等。

 pip install -r要求.txt

步骤5：设置环境变量

为了利用AI驱动的见解和监视模型性能，您需要为Google Gemini和Langsmith配置API键。此设置将洞察力连接到为其智能功能供电的云服务。

在项目的根部创建.ENV文件，并为Google Gemini和Langsmith添加您的API键。

 Google_api_key =“ your_google_api_key”
langchain_api_key =“ your_langchain_api_key”
langchain_project =“ your_langchain_project_name”

您可以在这里获取API键 - Gemini API，Langchain API

步骤6：使用简化运行应用程序

配置所有内容后，请使用简化。此步骤启动了应用程序，使您可以与其用户友好的接口进行交互，并实时探索数据。

简化运行final_app.py

开发洞察力的功能

在本节中，我们将研究使Insightmate成为强大的数据分析工具的核心功能。从生成自动可视化到使用自然语言查询数据集，这些功能旨在简化数据探索和见解的生成。

数据集上的初始概述生成

• 用户上传thecsv filein在简化UI中的文件上传部分，一旦上传文件，将读取到apandas dataframe - pd.df（）中。
• 我们实施一个函数以检查缺失的值和不一致。如果数据干净，则用户可以继续探索数据集。
• 有关数据集的基本信息，例如使用df.describe（）方法的行数，列数和统计摘要，以及df.head（）方法生成的预览。

自动生成仪表板的开发

• 我们在数据集中提取数值和分类列，然后将它们存储在单独的变量中。
• 对于数值列，自动生成直方图以使用自定义功能显示数据分布。

 ＃4.1数值列的分布图
        如果len（numeric_columns）> 0：
            St.Write（“ ####数字列的分布”）
            对于i在范围内（0，len（numeric_columns），2）：＃在一行中显示2列
                Cols = St.Columns（2）＃并排创建2列
                对于IDX，列表中的列（numeric_columns [i：i 2]）：
                    使用COLS [IDX]：＃将图放在单独的列中
                        plt.figure（figsize =（6，4））＃使图较小
                        sns.histplot（df [列]，kde = true，color ='lightblue'，bins = 30）
                        plt.title（{column}'的f'distribution）
                        圣皮特洛特（PLT）

条图和饼图说明了分类列中类别的分布。

 ＃4.1数值列的分布图
        如果len（cancorical_columns）> 0：
            St.Write（“ ####分类列的分布”）
            对于我的范围（0，len（cancorical_columns），2）：
                cols =圣克洛姆（2）
                对于IDX，列表中的列（excorical_columns [i：i 2]）：
                    与COLS [IDX]：
                        top_categories = df [列] .value_counts（）。
                        filtered_df = df [df [column] .isin（top_categories.index）]
                        plt.figure（无花果=（6，4））
                        sns.countplot（x =列，data = filtered_df，palette =“ set2”，order = top_categories.index）
                        plt.title（{column}'中的10个类别）
                        plt.xticks（旋转= 45）
                        圣皮特洛特（PLT）
        
        ＃4.3分类列的饼图
        如果len（cancorical_columns）> 0：
            St.Write（“分类列的####饼图”）
            对于我的范围（0，len（cancorical_columns），2）：
                cols =圣克洛姆（2）
                对于IDX，列表中的列（excorical_columns [i：i 2]）：
                    与COLS [IDX]：
                        pie_data = df [列] .value_counts（）。  
                        plt.figure（无花果=（6，6））
                        plt.pie（pie_data，labels = pie_data.index，autopct ='％1.1f %%'，colors = sns.color_palette（“ set3”））
                        plt.title（{column}'的f'pie图表'）
                        圣皮特洛特（PLT） 

定制设置生成

• 用户可以通过从下拉菜单中选择特定的列和唯一值来过滤数据。下拉菜单由列和数据集中可用的唯一值填充。
• 仅包含所选列和值的数据集将是可见的，并且用户也可以选择将其下载为CSV文件。

 selected_filter_column = St.Selectbox（“选择要过滤的列”，df.columns）
selected_value = st.Selectbox（f“从'{selected_filter_column}'中选择一个值
filtered_df = df [df [selected_filter_column] == selected_value]
St.Dataframe（filled_df）

自定义可视化生成

• 用户可以从各种绘图类型（例如直方图，条形图，散点图）中进行选择，并指定可视化的列。
• InsightMate根据用户输入生成图，并通过有条件的代码块来处理不同的绘图类型。

示例代码显示IF-ELSE语句的结构：

 ＃取决于情节类型
        如果plot_type ==“直方图”：
            selected_column = st.Selectbox（“直方图选择列”，numeric_columns）
            如果圣顿（“生成直方图”）：
                plt.figure（无花果=（8，4））
                sns.histplot（df [selected_column]，bins = 30，kde = true，color ='lightblue'）
                plt.title（{selected_column}'的f'Histogram）
                圣皮特洛特（PLT）

        elif plot_type ==“ bar plot”：
            selected_column = St.Selectbox（“ bar绘图的选择列”，df.columns）
            如果圣巴顿（“生成吧台”）：
                plt.figure（无花果=（8，4））
                sns.countplot（x = selected_column，data = df，palette =“ set2”）
                plt.title（{selected_column}'的f'bar图）
                圣皮特洛特（PLT）

与Google Gemini基于查询的见解

上传的CSV转换为JSON格式，以方便与Google Gemini的互动。

 dataset_json = df.to_json（orient ='split'）

用户可以就其数据询问自然语言问题，并且AI根据数据集的内容提供答案。

 dataset_json = df.to_json（orient ='split'）
提示= f“ dataset（以JSON格式）：{dataset_json}。\ nquestion：{user_question}”
响应= chat_llm.invoke（提示）
St.Write（“ ### Gemini的答案”）
St.Write（响应。

llmops和langsmith

该项目intemateLatesLlmopSusinglangsmiths用于跟踪和监视AI模型性能。通过启用Langsmith的追踪，我们可以：

• 跟踪AI性能：了解模型如何响应用户查询。
• 监视延迟：测量模型处理和返回答案所需的时间。
• 可追溯性：通过跟踪每个调用及其响应来调试和审计模型性能。

有关开发洞察力的工具的摘要

• 简化：用于构建Web应用程序界面并提供交互式体验。
• 熊猫：用于加载和操纵数据集并提供数据摘要。
• Matplotlib＆Seaborn ：生成数据集的各种图和可视化。
• Google Gemini AI（通过Langchain）：提供有关其数据集的用户查询的响应。
• Langsmith ：监视和追踪AI响应的性能并确保质量结果。

未来的增强

• 我正在努力增加对excel，json等多种文件格式的支持
• 我正在尝试引入数据清洁功能，以直接在洞察员内处理丢失或不一致的数据。
• 提高AI理解和分析更复杂数据集的能力。

结论

简而言之，Insightmate简化了数据探索和可视化，使用户轻而易举地将原始数据转化为可行的见解。无论您是新手还是专业人士，该应用程序的动态仪表板和智能集成都使数据分析既容易又有效。随着我们继续完善和增强应用程序，您可以期望更多的功能和改进。

对Google Gemini和Langsmith的大喊大叫，可以用其创新工具为该项目提供动力！

您可以在此处查看回购。

关键要点

• Insightmate使探索和可视化数据的动态仪表板非常容易，以适应您的需求。没有更多的静态图表 - 仅可自定义的交互式见解。
• 通过集成Google Gemini，您可以用简单的语言询问有关数据的问题，并获得合理的，上下文感知的答案。
• 多亏了Langsmith，Insightmate跟踪并监视了随着时间的流逝，AI模型的性能。
• 从直方图到饼图，InsightMate可让您根据自己的喜好创建各种可视化。您可以按照所需的方式过滤和绘制数据。

常见问题

Q1。什么是洞察力？

A. Insightmate是一种通过提供数据集中的可自定义仪表板，可视化和AI生成的见解来简化数据分析的工具。

Q2。我如何开始洞察力？

答：只需上传您的数据集，而Insightmate将提供自动可视化，并允许您通过可自定义的仪表板与数据进行交互。

Q3。我可以使用洞察力创建哪些类型的可视化？

A.洞察力支持各种可视化，例如直方图，条图，饼图和散点图。

Q4。 Google Gemini如何在洞察力中工作？

A. Google Gemini允许您以简单的语言向您的数据提出问题，并根据您的数据集提供上下文感知的答案。

Q5。洞察力适合初学者吗？

答：是的，Insightmate是为初学者和经验丰富的专业人士设计的，提供了直观的界面和易于使用的功能。

本文所示的媒体不由Analytics Vidhya拥有，并由作者酌情使用。

以上是与洞察员自动化数据见解的详细内容。更多信息请关注PHP中文网其他相关文章！