집 >기술 주변기기 >일체 포함 >OpenAi O1- 프리뷰 튜토리얼 : 머신 러닝 프로젝트 구축
OpenAi O1- 프리뷰 튜토리얼 : 머신 러닝 프로젝트 구축
Christopher Nolan원래의
2025-03-04 09:13:10291검색
이 튜토리얼에서는 처음부터 수질 분류기 애플리케이션을 작성하여 Docker를 사용하여 클라우드에 배포합니다.
우리는 OpenAi O1 모델을 탐색하고 그 기능을 이해하는 것으로 시작합니다. 그런 다음 수질 분류기 응용 프로그램을 구축하기위한 효과적인 프롬프트를 개발하기 전에 O1- 프리뷰 및 O1-MINI 버전을 실험하여 API 및 ChatGpt를 통해 모델에 액세스 할 것입니다.
일단 출력이 있으면 O1 모델에서 제공 한 코드와 파일을 프로젝트 폴더에 추가 한 다음 Python 코드를 로컬로 실행하여로드, 전제 처리, 교육 및 평가합니다. 마지막으로 FastApi 응용 프로그램을 구축하여 Docker를 사용하여 Hugging Face에 배치합니다.
AI를 처음 사용한다면 AI 기초 기술 트랙은 시작하기에 좋은 곳입니다. Chatgpt 및 대형 언어 모델과 같은 인기있는 AI 주제에 대해 배우는 데 도움이됩니다.
저자에 의한 이미지
O1-PREVIEW 및 O1-MINI
로 시작하는 것
액세스하기 쉬운 O1 모델이 많이 있지만 공식 모델은 OpenAI API를 통해 또는 ChatGpt Plus 또는 팀 구독을 사용하고 있습니다.
이 섹션에서는 복잡한 문제를 해결하기 위해이를 사용하는 방법을 배울 것입니다.
O1 모델에 액세스합니다
채팅 완료를 위해 OpenAI API에 익숙한 경우 모델 이름을 "O1-PREVIEW"로 설정하고 자세한 프롬프트를 제공해야합니다. 그것은 단순합니다. chatGpt에서 액세스하려면 모델 선택 드롭 다운 옵션을 클릭하고 아래와 같이 "O1-PREVIEW"모델을 선택해야합니다.
chatgpt 에서 o1-preview 모델 사용
O1 모델의 프롬프트는 다릅니다. 그 힘을 완전히 실현하기 위해 여러 지시 사항이나 자세한 질문을 제공해야합니다. 최적의 답변을 생성하려면 길고 복잡한 지시가 필요할 수 있습니다. 유럽의 프리랜서 사업에 대한 세금 계산은 복잡 할 수 있습니다. 우리는 O1 모델을 사용하여 스페인 정부에 대한 세금 책임을 결정할 것입니다.
프롬프트 :“ 저는 스페인의 프리랜서입니다. 미국 기반 회사에서 일하는 것입니다. 지난 1 년 동안 저는 12 만 달러를 벌었으며 빚진 세금의 양을 계산해야합니다. 8 개월 전에 스페인으로 이사 한 것을 고려 해주세요.
”
응답하는 데 거의 30 초가 걸렸지 만 응답은 상세했습니다. 여기에는 수학 방정식, 세금 정보 및 필요한 모든 세부 사항이 포함되어 스페인 정부에 얼마를 빚지고 있는지 결정했습니다.
응답은 다음 부분으로 나뉘 었습니다 세금 거주 상태를 결정하십시오
소득을 유로로 전환하십시오
과세 소득을 계산하십시오
사회 보장 기부금 계산
총 예상 세금 빚
중요한 메모
다음 단계
요약 섹션을 검토하면 정부에 빚진 대략적인 세금을 제공합니다.
채팅 응답에서 드롭 다운 메뉴를 클릭하여 사고 체인과 의사 결정을 볼 수 있습니다.
우리는 당신의 질문에 응답하기 전에 모델이 그가 맥락, 세금 영향 및 세금 괄호를 이해한다는 것을 알 수 있습니다.
chatgpt 에서 o1-mini 모델을 사용합니다
O1-MINI 모델은 O1- 프리뷰 모델보다 덜 정확하지만 빠릅니다. 우리의 경우, 우리는이 모델을 사용하여 데이터 과학 이력서를위한 정적 웹 사이트를 만들 것입니다.
프롬프트 :“ 파이썬 프레임 워크를 사용하여 데이터 과학 이력서에 대한 정적 웹 사이트를 작성하십시오.”
적절한 이력서 웹 사이트를 만들었을뿐만 아니라 Github 페이지에 무료로 게시하는 방법에 대한 지침을 제공했습니다.
응답은 다음 부분으로 나뉘 었습니다
펠리칸 소개
전제 조건
펠리칸 설정
테마 선택
이력서 컨텐츠 생성
사이트 구축
makefile로 자동화
이력서 웹 사이트 배포
이력서 향상 웹 사이트
추가 자원
응답에 사고의 사슬을 표시하는 것은 환상적인 기능입니다. 우리는이 모델이 펠리컨, 플라스크 또는 휴고를 웹 프레임 워크로 사용하는 것을 고려하고 있음을 분명히 알 수 있습니다. 결국, 그것은 가능한 최고의 솔루션을 선택했습니다.
OpenAi O1- 프리뷰 튜토리얼 : 수질 분류기 구축
이 프로젝트에서는 O1- 프리뷰 모델을 사용하여 수질 분류 애플리케이션을 구축하고 배포합니다. 이것은 우리가 찾고있는 것에 대한 자세한 설명을 제공하기 때문에 매우 복잡한 프로젝트입니다.
chatgpt를 사용하여 데이터 과학 프로젝트 구축에 관심이 있으시면 데이터 과학 프로젝트에 chatgpt 사용에 대한 안내서를 확인하십시오. 프로젝트 계획, 데이터 분석, 데이터 전처리, 모델 선택, 하이퍼 파라미터 튜닝, 웹 앱 개발 및 배포에 ChatGpt를 사용하는 방법을 배웁니다.
1. 프롬프트 엔지니어링 <.>
우리는 모든 프로젝트 지시문이 모델에 제공되도록 신속한 엔지니어링에 더 많은 시간을 할애 할 것입니다.
3. Scikit-Learn 프레임 워크를 사용하여 모델을 교육하십시오. 실험을 추적하고 모델 파일과 메타 데이터를 저장해야합니다. SKOPS 라이브러리를 사용하여 모델을 저장하십시오.
4. 자세한 모델 평가를 수행하고 결과를 저장하십시오
5. 사용자로부터 이미지를 가져와 물의 품질을 예측하는 FastApi 응용 프로그램을 만듭니다.
6. Jinja2 템플릿을 사용하여 사용자 인터페이스를 추가하십시오.
7. Docker 옵션을 사용하여 Hugging Face Hub에 앱을 배포하십시오.”
.
생성 된 응답은 데이터를로드하고, 전처리하고, 모델을 훈련 및 평가하고, FastAPI 응용 프로그램을 작성하고, 사용자 인터페이스를 만들고, 배포하는 데 필요한 모든 정보를 제공했습니다.
문제는 문제가 단편화되어 있으며 코드를 복사하고 붙여 넣기 위해 파이썬 및 HTML 파일을 생성하려는 것입니다.
이제 우리는 이제 모든 코드를 Python 및 HTML 파일로 변환하여 삶을 더욱 쉽게 할 것입니다.
<:> 후속 프롬프트 : "코드를 Python 파일로 변환하십시오."
우리가 볼 수 있듯이 모든 파일과 코드가 포함 된 프로젝트 구조가 있습니다. 우리가해야 할 일은 폴더와 파일을 만들고 코드를 복사하고 붙여 넣기 만하면됩니다.
2. <..> 설정
O1 모델은 프로젝트 디렉토리를 설정하는 데 필요한 모든 정보를 제공합니다. 코드 편집기를 사용하여 프로젝트 디렉토리 내에 폴더와 파일을 만들면됩니다.
우리는 다음 폴더를 만들 것입니다 :
앱 :이 폴더는 Fastapi 및 HTML 템플릿 용 앱 파일이 포함됩니다.
데이터 :이 폴더는 원래 데이터와 전처리 데이터가 포함됩니다.
<: :> 메트릭 :이 폴더는 모델 평가 데이터 및 데이터 분석이 포함됩니다.
모델 :이 폴더는 저장된 모델과 스케일러 객체를 포함합니다.
SRC :이 폴더는로드, 처리, 교육 및 평가에 도움이되는 모든 파이썬 파일이 포함됩니다.
또한 기본 디렉토리에는 dockerfile, readme 및 요구 사항이 포함됩니다 .txt 파일.
3. 데이터 세트를로드 우리는 Kaggle API를 사용하여 수질 Kaggle 데이터 세트를로드하여 데이터 폴더로 압축합니다.
Datadownload_data.py :
Python 파일을 실행하면 데이터 세트를 다운로드하여 압축을 풀고 zip 파일을 제거합니다.
$ python .srcdownload_data.py
4. 데이터를 전처리하고 데이터 분석을 수행하십시오
전처리 파이썬 파일은 데이터를로드하고, 정리하고, 누락 된 데이터를 처리하고, 스케일링 한 다음 스케일러 및 전처리 데이터 세트를 저장합니다. 또한 데이터 분석을 수행하고 메트릭 및 데이터 시각화를 저장합니다.
DatapReprocess_data.py :
우리는 미리 처리 된 데이터와 모든 데이터 분석 보고서를 수치로 얻었습니다.
5. 모델 구축 및 훈련
훈련 스크립트는 전처리 된 데이터를로드하고이를 사용하여 임의의 산림 분류기를 훈련시킵니다. 그런 다음 Skope는 모델을 저장하고 실험을 수동으로 추적하며 Model Metadata를 JSON 파일로 저장하는 데 사용됩니다.
srctrain_model.py :
교육 스크립트는 아래와 같이 모델 파일과 메타 데이터를 생성합니다.
6. 모델 평가
모델 평가 스크립트는 처리 된 데이터와 저장된 모델을로드하여 분류 보고서, 혼란 매트릭스, ROC 곡선, AUC 및 전반적인 정확도를 생성합니다. 모든 메트릭과 수치는 메트릭 폴더에 저장됩니다.
srcevaluate_model.py :
from openai import OpenAI
client = OpenAI()
response = client.chat.completions.create(
model="o1-preview",
messages=[
{
"role": "user",
"content": "Create an SQL database from scratch, including guides on usage and code everything in Python."
}
]
)
print(response.choices[0].message.content)
import os
# Ensure the data directory exists
os.makedirs("data", exist_ok=True)
# Download the dataset
os.system("kaggle datasets download -d adityakadiwal/water-potability -p data --unzip")
전반적인 정확도는 그렇게 좋지 않습니다. 그러나 항상 O1 모델에 정확도를 향상 시키도록 요청할 수 있습니다.
메트릭 폴더에는 모든 저장된 모델 평가 수치 및 메트릭이 포함되어 있습니다. 모델 성능을 자세히 이해하기 위해 수동으로 검토 할 수 있습니다.
Dataset URL: https://www.kaggle.com/datasets/adityakadiwal/water-potability
License(s): CC0-1.0
Downloading water-potability.zip to data
100%|████████████████████████████████████████████████████████████████████████████████| 251k/251k [00:00<00:00, 304kB/s]
100%|████████████████████████████████████████████████████████████████████████████████| 251k/251k [00:00<00:00, 303kB/s]
7. FastApi 응용 프로그램 를 만듭니다
FastApi 응용 프로그램에 대한 사용자 인터페이스를 만들려면 인덱스 및 결과 페이지를 작성해야합니다. 이는 앱 디렉토리 내에 템플릿 폴더를 만들고 두 개의 HTML 파일을 추가하여 기본 페이지와 결과 페이지에 하나를 추가하여 수행 할 수 있습니다.
Fastapi 자습서 : Fastapi를 사용하여 Fastapi 프레임 워크와 프로젝트에서이를 구현할 수있는 방법에 대해 자세히 배우는 소개를 확인하십시오.
HTML에 익숙하지 않다면 걱정하지 마십시오. 코드를 복사하여 붙여 넣고 O1 모델을 신뢰하면됩니다.
apptemplatesform.html :
apptemplatesresult.html :
기본 응용 프로그램 파이썬 파일에는 홈과 예측의 두 가지 파이썬 기능이 있습니다. "홈"기능은 입력 상자와 버튼이 포함 된 환영 페이지를 표시합니다. "예측"기능은 사용자 입력을 변환하고 모델을 통해 실행하며 물이 식용인지 아닌지를 나타내는 결과를 표시합니다.
apptemplatesmain.py :
우리는 앱을 먼저 테스트하여 실행 중인지 확인합니다.
Uvicorn을 사용하여 Python 파일을 실행하면 브라우저에 복사하여 붙여 넣을 수있는 로컬 주소를 얻습니다.
참고 : 파일을 실행하는 방법에 대한 모든 정보는 O1 모델에서도 제공됩니다.
우리가 볼 수 있듯이 앱은 잘 작동합니다.
import os
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler
import joblib
# Create directories if they don't exist
os.makedirs("metrics", exist_ok=True)
os.makedirs("models", exist_ok=True)
# Load the dataset
data = pd.read_csv("data/water_potability.csv")
# Check for missing values and save the summary
missing_values = data.isnull().sum()
missing_values.to_csv("metrics/missing_values.csv")
# Statistical summary
stats = data.describe()
stats.to_csv("metrics/data_statistics.csv")
# Pair plot
sns.pairplot(data, hue="Potability")
plt.savefig("metrics/pairplot.png")
# Correlation heatmap
plt.figure(figsize=(10, 8))
sns.heatmap(data.corr(), annot=True)
plt.savefig("metrics/correlation_heatmap.png")
# Handle missing values
imputer = SimpleImputer(strategy="mean")
data_imputed = pd.DataFrame(imputer.fit_transform(data), columns=data.columns)
# Feature scaling
scaler = StandardScaler()
features = data_imputed.drop("Potability", axis=1)
target = data_imputed["Potability"]
features_scaled = scaler.fit_transform(features)
# Save the scaler
joblib.dump(scaler, "models/scaler.joblib")
# Save preprocessed data
preprocessed_data = pd.DataFrame(features_scaled, columns=features.columns)
preprocessed_data["Potability"] = target
preprocessed_data.to_csv("metrics/preprocessed_data.csv", index=False)
수질을 확인하고 예측 버튼을 누르는 임의의 값을 제공하겠습니다.
$ python .\src\preprocess_data.py
결과는 놀랍습니다. 그것은 물이 마실 수 없음을 보여줍니다.
URL 후 "/docs"를 입력하여 API를 테스트하고 결과를 생성하여 Fastapi Swagger UI에 액세스 할 수도 있습니다.
import os
import json
import skops.io as sio
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
# Load preprocessed data
data = pd.read_csv("metrics/preprocessed_data.csv")
features = data.drop("Potability", axis=1)
target = data["Potability"]
# Split the data
X_train, X_test, y_train, y_test = train_test_split(
features, target, test_size=0.2, random_state=42, stratify=target
)
# Train the model
model = RandomForestClassifier(n_estimators=200, random_state=42)
model.fit(X_train, y_train)
# Save the model using skops
os.makedirs("models", exist_ok=True)
sio.dump(model, "models/water_quality_model.skops")
# Track experiments and save metadata
metadata = {
"model_name": "RandomForestClassifier",
"parameters": model.get_params(),
"training_score": model.score(X_train, y_train),
}
with open("models/metadata.json", "w") as f:
json.dump(metadata, f, indent=4)
를 만듭니다
