Gemini Flash를 사용하여 비디오 통찰력 생성기 구축
- DDD원래의
- 2024-11-26 20:24:13758검색
동영상 이해 또는 동영상 통찰력은 다양한 이점으로 인해 다양한 산업 및 애플리케이션에서 매우 중요합니다. 메타데이터를 자동으로 생성하고, 콘텐츠를 분류하고, 비디오를 보다 쉽게 검색할 수 있도록 하여 콘텐츠 분석 및 관리를 향상시킵니다. 또한, 비디오 인사이트는 의사결정을 촉진하고, 사용자 경험을 향상시키며, 다양한 부문에서 운영 효율성을 향상시키는 중요한 데이터를 제공합니다.
Google의 Gemini 1.5 모델은 이 분야에 상당한 발전을 가져왔습니다. 언어 처리의 놀라운 개선 외에도 이 모델은 최대 100만 개의 토큰에 이르는 엄청난 입력 컨텍스트를 처리할 수 있습니다. 기능을 더욱 발전시키기 위해 Gemini 1.5는 텍스트, 이미지, 오디오 및 비디오를 기본적으로 처리하는 다중 모드 모델로 교육되었습니다. 다양한 입력 유형과 광범위한 컨텍스트 크기의 강력한 조합은 긴 비디오를 효과적으로 처리할 수 있는 새로운 가능성을 열어줍니다.
이 기사에서는 Gemini 1.5를 활용하여 귀중한 비디오 통찰력을 창출하고 다양한 도메인에서 비디오 콘텐츠를 이해하고 활용하는 방식을 변화시키는 방법에 대해 자세히 알아봅니다.
시작하기
목차
- Gemini 1.5란 무엇인가요
- 전제조건
- 종속성 설치
- Gemini API 키 설정
- 환경 변수 설정
- 라이브러리 가져오기
- 프로젝트 초기화
- 업로드된 파일 저장
- 동영상에서 통찰력 얻기
- Files API에 동영상 업로드
- 파일 가져오기
- 응답 생성
- 파일 삭제
- 스테이지 결합
- 인터페이스 생성
- 스트림라이트 앱 만들기
Gemini 1.5 란 무엇입니까?
Google의 Gemini 1.5는 AI 성능과 효율성 면에서 획기적인 도약을 의미합니다. 광범위한 연구 및 엔지니어링 혁신을 기반으로 구축된 이 모델은 새로운 MoE(Mixture-of-Experts) 아키텍처를 특징으로 하여 교육 및 서비스 효율성을 모두 향상시킵니다. 공개 미리보기로 제공되는 Gemini 1.5 Pro 및 1.5 Flash는 Google AI Studio 및 Vertex AI를 통해 인상적인 100만 개의 토큰 컨텍스트 창을 제공합니다.
Google Gemini 업데이트: Flash 1.5, Gemma 2 및 Project Astra(blog.google)
Gemini 제품군에 새로 추가된 1.5 Flash 모델은 가장 빠르고 대용량, 고주파수 작업에 최적화된 모델입니다. 비용 효율성을 위해 설계되었으며 요약, 채팅, 이미지 및 비디오 캡션, 광범위한 문서 및 테이블에서 데이터 추출과 같은 응용 프로그램에 탁월합니다. 이러한 발전을 통해 Gemini 1.5는 AI 모델의 성능과 다양성에 대한 새로운 표준을 제시합니다.
전제 조건
- Python 3.9(https://www.python.org/downloads)
- google-generativeai
- 스트림라이트
종속성 설치
- 다음 명령을 실행하여 가상 환경을 생성하고 활성화하세요.
python -m venv venv source venv/bin/activate #for ubuntu venv/Scripts/activate #for windows
- pip를 사용하여 google-generativeai, streamlit, python-dotenv 라이브러리를 설치합니다. generativeai가 작동하려면 Python 3.9 버전이 필요합니다.
pip install google-generativeai streamlit python-dotenv
Gemini API 키 설정
Gemini API에 액세스하고 해당 기능을 사용하려면 Google AI Studio에 등록하여 무료 Google API 키를 얻을 수 있습니다. Google에서 제공하는 Google AI Studio는 Gemini API와 상호작용하기 위한 사용자 친화적인 시각적 기반 인터페이스를 제공합니다. Google AI Studio에서는 직관적인 UI를 통해 생성 모델에 원활하게 참여할 수 있으며 원하는 경우 향상된 제어 및 맞춤설정을 위해 API 토큰을 생성할 수 있습니다.
Gemini API 키를 생성하려면 다음 단계를 따르세요.
- 프로세스를 시작하려면 링크(https://aistudio.google.com/app)를 클릭하여 Google AI Studio로 리디렉션하거나 Google에서 빠른 검색을 수행하여 찾을 수 있습니다.
- 서비스 약관에 동의하고 계속을 클릭하세요.
- 사이드바에서 API 키 가져오기 링크를 클릭하고 새 프로젝트에서 API 키 생성 버튼을 클릭하여 키를 생성하세요.
- 생성된 API 키를 복사하세요.
환경 변수 설정
프로젝트를 위한 새 폴더를 만드는 것부터 시작하세요. 프로젝트의 목적을 반영하는 이름을 선택하세요.
새 프로젝트 폴더 내에 .env라는 파일을 만듭니다. 이 파일은 Gemini API 키를 포함한 환경 변수를 저장합니다.
.env 파일을 열고 다음 코드를 추가하여 Gemini API 키를 지정하세요.
GOOGLE_API_KEY=AIzaSy......
라이브러리 가져오기
프로젝트를 시작하고 필요한 모든 도구가 있는지 확인하려면 다음과 같이 몇 가지 주요 라이브러리를 가져와야 합니다.
import os import time import google.generativeai as genai import streamlit as st from dotenv import load_dotenv
- google.generativeai as genai: Gemini API와 상호작용하기 위해 Google Generative AI 라이브러리를 가져옵니다.
- streamlit as st: 웹 앱 생성을 위해 Streamlit을 가져옵니다.
- from dotenv import load_dotenv: .env 파일에서 환경 변수를 로드합니다.
프로젝트 초기화
프로젝트를 설정하려면 API 키를 구성하고 업로드된 파일을 위한 임시 파일 저장용 디렉터리를 생성해야 합니다.
미디어 폴더를 정의하고 필요한 설정을 초기화하여 Gemini API 키를 구성합니다. 스크립트에 다음 코드를 추가하세요.
python -m venv venv source venv/bin/activate #for ubuntu venv/Scripts/activate #for windows
업로드된 파일 저장
업로드된 파일을 미디어 폴더에 저장하고 경로를 반환하려면 save_uploaded_file이라는 메소드를 정의하고 다음 코드를 추가하세요.
pip install google-generativeai streamlit python-dotenv
비디오에서 통찰력 생성
동영상에서 통찰력을 얻으려면 업로드, 처리, 응답 생성을 비롯한 여러 중요한 단계가 필요합니다.
1. Files API에 비디오 업로드
Gemini API는 비디오 파일 형식을 직접 허용합니다. 파일 API는 최대 2GB 크기의 파일을 지원하고 프로젝트당 최대 20GB의 저장 공간을 허용합니다. 업로드된 파일은 2일 동안 사용할 수 있으며 API에서 다운로드할 수 없습니다.
GOOGLE_API_KEY=AIzaSy......
2. 파일 가져오기
파일을 업로드한 후 files.get 메소드를 사용하여 API가 파일을 성공적으로 수신했는지 확인할 수 있습니다. 이 방법을 사용하면 API 키에 연결된 Cloud 프로젝트와 연결된 File API에 업로드된 파일을 볼 수 있습니다. 파일 이름과 URI만 고유 식별자입니다.
import os import time import google.generativeai as genai import streamlit as st from dotenv import load_dotenv
3. 응답 생성
동영상이 업로드된 후 File API URI를 참조하는 generateContent 요청을 할 수 있습니다.
MEDIA_FOLDER = 'medias'
def __init__():
# Create the media directory if it doesn't exist
if not os.path.exists(MEDIA_FOLDER):
os.makedirs(MEDIA_FOLDER)
# Load environment variables from the .env file
load_dotenv()
# Retrieve the API key from the environment variables
api_key = os.getenv("GEMINI_API_KEY")
# Configure the Gemini API with your API key
genai.configure(api_key=api_key)
4. 파일 삭제
파일은 2일 후에 자동으로 삭제되거나 files.delete()를 사용하여 수동으로 삭제할 수 있습니다.
def save_uploaded_file(uploaded_file):
"""Save the uploaded file to the media folder and return the file path."""
file_path = os.path.join(MEDIA_FOLDER, uploaded_file.name)
with open(file_path, 'wb') as f:
f.write(uploaded_file.read())
return file_path
5. 스테이지 결합
get_insights라는 메소드를 생성하고 여기에 다음 코드를 추가합니다. print() 대신 streamlit write() 메소드를 사용하여 웹사이트의 메시지를 확인하세요.
video_file = genai.upload_file(path=video_path)
인터페이스 만들기
Streamlit 앱 내에서 동영상을 업로드하고 통찰력을 생성하는 프로세스를 간소화하려면 app이라는 메서드를 만들 수 있습니다. 이 방법은 업로드 버튼을 제공하고, 업로드된 비디오를 표시하며, 여기서 통찰력을 생성합니다.
import time
while video_file.state.name == "PROCESSING":
print('Waiting for video to be processed.')
time.sleep(10)
video_file = genai.get_file(video_file.name)
if video_file.state.name == "FAILED":
raise ValueError(video_file.state.name)
스트림라이트 앱 만들기
사용자가 Gemini 1.5 Flash 모델을 사용하여 비디오를 업로드하고 통찰력을 생성할 수 있는 완전하고 기능적인 Streamlit 애플리케이션을 만들려면 모든 구성 요소를 app.py라는 단일 파일로 결합합니다.
최종 코드는 다음과 같습니다.
# Create the prompt.
prompt = "Describe the video. Provides the insights from the video."
# Set the model to Gemini 1.5 Flash.
model = genai.GenerativeModel(model_name="models/gemini-1.5-flash")
# Make the LLM request.
print("Making LLM inference request...")
response = model.generate_content([prompt, video_file],
request_options={"timeout": 600})
print(response.text)
애플리케이션 실행
다음 코드를 실행하여 애플리케이션을 실행하세요.
genai.delete_file(video_file.name)
콘솔에 제공된 링크를 열어 출력을 확인할 수 있습니다.
이 글을 읽어주셔서 감사합니다!!
이 기사가 마음에 드셨다면 하트 버튼♥을 눌러 다른 사람들이 찾을 수 있도록 공유해주세요!
이 튜토리얼의 전체 소스 코드는 여기에서 확인할 수 있습니다.
GitHub - codemaker2015/video-insights-generator
위 내용은 Gemini Flash를 사용하여 비디오 통찰력 생성기 구축의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!