Membina Pemuat Turun Google Drive di Golang (Bahagian 1)

소개

이 튜토리얼에서는 Google 드라이브 및 기타 클라우드 제공업체에서 파일을 다운로드할 수 있는 강력한 다운로더를 구축하겠습니다. Golang의 효율적인 동시성 패턴을 사용하면 여러 다운로드를 동시에 관리하고 대용량 파일을 스트리밍하며 진행 상황을 실시간으로 추적할 수 있습니다. 몇 개의 작은 파일을 다운로드하든 대규모 데이터 세트를 처리하든 이 프로젝트에서는 여러 클라우드 플랫폼을 지원하도록 쉽게 확장할 수 있는 확장 가능하고 강력한 다운로더를 구축하는 방법을 보여줍니다.

대용량 파일 다운로드를 단순화하고 자동화하는 방법을 찾고 있다면 이 튜토리얼이 적합합니다. 결국에는 귀하의 필요에 맞게 유연하고 사용자 정의 가능한 Go 기반 다운로더를 갖게 될 것입니다.

급하게?

이 다운로더를 UI와 함께 사용하려는 경우, revolutionasdev.com을 방문하여 전체 기사 및 Go Downloader의 Github를 읽어보세요. 빠르게 실행하는 데 필요한 문서를 찾을 수 있습니다.

당신이 배울 내용

• Go 동시성 패턴:
  고루틴, 채널 및 뮤텍스를 사용하여 여러 동시 파일 다운로드를 효율적으로 처리하는 방법을 알아보세요.

• 대용량 다운로드 스트리밍:
  메모리와 시스템 리소스를 효과적으로 관리하면서 대용량 파일을 스트리밍하는 방법을 알아보세요.

• 동시 파일 다운로드:
  파일을 동시에 다운로드하여 프로세스 속도를 높이고 성능을 향상시키는 방법을 이해하세요.

• 실시간 진행 업데이트:
  다운로드 상태에 대한 실시간 피드백을 제공하기 위해 진행 상황 추적을 구현합니다.

• 중단 및 취소 처리:
  진행 중인 다운로드 하나 또는 모두를 정상적으로 취소하는 방법을 알아보세요.

참고: 이 튜토리얼에서는 핵심 다운로드 논리에만 중점을 둡니다.

환경설정

무슨 일을 하기 전에 먼저 환경을 올바르게 설정하여 향후 잠재적인 버그를 방지하세요.

전제조건

• Go 설치
• AIR 자동 새로고침
• Makefile 복잡한 명령 실행
• PostgreSQL 마이그레이션을 위한 Goose

Makefile 구성

다음을 사용하여 프로젝트 루트에 makefile을 만듭니다.

# Load environment variables from .env file
include ./.env

# To run the application
run: build
    @./bin/go-downloader

# Build the application
build:
    @go build -tags '!dev' -o bin/go-downloader

# Database migration status
db-status:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) status

# Run database migrations
up:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) up

# Roll back the last database migration
down:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) down

# Reset database migrations
reset:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) reset

상위 수준 폴더 구조 개요

go-downloader/
├── api
├── config
├── migrations
├── service
├── setting
├── store
├── types
├── util
├── .env
├── .air.toml
├── Makefile
├── go.mod
├── go.sum
└── main.go

환경 변수 설정

루트에 .env 파일을 생성하거나 원하는 대로 환경 변수를 처리합니다. joho/godotenv 패키지를 사용하겠습니다.

GOOGLE_CLIENT_ID
GOOGLE_CLIENT_SECRET
SESSION_SECRET=something-super-secret
APP_URL=http://localhost:3000
POSTGRES_USER
POSTGRES_PASSWORD
POSTGRES_DB

웹 서버 생성

이제 들어오는 모든 요청을 처리할 웹 서버 생성을 시작하겠습니다.

주의하세요! 이 가이드의 주요 부분은 여기에서 시작됩니다. 뛰어들 준비를 하세요!

API 레이어

시작하려면 api 폴더 api.go 및 Route.go 내에 다음 파일을 생성하세요

Route.go 파일 설정

모든 API 경로가 여기에 정의됩니다. env 구성을 사용하는 NewRouter 구조체를 생성하여 모든 경로와 핸들러가 환경 변수에 액세스할 수 있도록 합니다.

package api

import (
    "github.com/gofiber/fiber/v2"
    "github.com/nilotpaul/go-downloader/config"
)

type Router struct {
    env       config.EnvConfig
}

func NewRouter(env config.EnvConfig) *Router {
    return &Router{
        env:      env,
    }
}

func (h *Router) RegisterRoutes(r fiber.Router) {
    r.Get("/healthcheck", func(c *fiber.Ctx) error {
        return c.JSON("OK")
    })
}

api.go 파일 설정

여기서 서버를 시작하기 전에 CORS, 로깅 등 필요한 미들웨어를 모두 추가하겠습니다.

type APIServer struct {
    listenAddr string
    env        config.EnvConfig
}

func NewAPIServer(listenAddr string, env config.EnvConfig) *APIServer {
    return &APIServer{
        listenAddr: listenAddr,
        env:        env,
    }
}

func (s *APIServer) Start() error {
    app := fiber.New(fiber.Config{
        AppName:      "Go Downloader",
    })

    handler := NewRouter()
    handler.RegisterRoutes(app)

    log.Printf("Server started on http://localhost:%s", s.listenAddr)

    return app.Listen(":" + s.listenAddr)
}

주요 진입점

이것은 전체에 대한 진입점 역할을 할 main.go 파일의 메인 패키지입니다.

func main() {
    // Loads all Env vars from .env file.
    env := config.MustLoadEnv()

    log.Fatal(s.Start())
}

이 정도면 서버를 구동하고 테스트해 볼만 합니다.

서버 시작

air

그렇죠?

테스트

curl http://localhost:3000/healthcheck

상태 200이면 응답이 OK여야 합니다

공급자 저장소 만들기

필요한 경우 여러 클라우드 제공업체에 대한 지원을 추가하기 위한 확장 가능한 솔루션을 구현해야 합니다.

공급자 레지스트리 작업 중

// Better to keep it in a seperate folder.
// Specific only to OAuth Providers.
type OAuthProvider interface {
    Authenticate(string) error
    GetAccessToken() string
    GetRefreshToken() string
    RefreshToken(*fiber.Ctx, string, bool) (*oauth2.Token, error)
    IsTokenValid() bool
    GetAuthURL(state string) string
    CreateOrUpdateAccount() (string, error)
    CreateSession(c *fiber.Ctx, userID string) error
    UpdateTokens(*GoogleAccount) error
}

type ProviderRegistry struct {
    Providers map[string]OAuthProvider
}

func NewProviderRegistry() *ProviderRegistry {
    return &ProviderRegistry{
        Providers: make(map[string]OAuthProvider),
    }
}

func (r *ProviderRegistry) Register(providerName string, p OAuthProvider) {
    r.Providers[providerName] = p
}

func (r *ProviderRegistry) GetProvider(providerName string) (OAuthProvider, error) {
    p, exists := r.Providers[providerName]
    if !exists {
        return nil, fmt.Errorf("Provider not found")
    }

    return p, nil
}

ProviderRegistry는 모든 OAuth 공급자를 보유하는 중앙 지도 역할을 합니다. 공급자를 초기화할 때 공급자를 이 맵에 등록합니다. 이를 통해 서비스 전반에 걸쳐 등록된 제공업체의 기능에 쉽게 액세스할 수 있습니다.

이 동작은 나중에 보게 됩니다.

공급자 저장소 초기화

제공된 환경 변수를 기반으로 공급자를 등록합니다.

func InitStore(env config.EnvConfig) *ProviderRegistry {
    r := NewProviderRegistry()

    if len(env.GoogleClientSecret) != 0 || len(env.GoogleClientID) != 0 {
        googleProvider := NewGoogleProvider(googleProviderConfig{
            googleClientID:     env.GoogleClientID,
            googleClientSecret: env.GoogleClientSecret,
            googleRedirectURL:  env.AppURL + "/callback/google",
        }, env)

        r.Register("google", googleProvider)
    }

    return r
}

여기에서 전체 기사를 읽어보세요.

Membungkus

Kami telah meletakkan asas untuk Google Drive Downloader dalam Go, meliputi komponen utama seperti menyediakan struktur projek, mengendalikan Google OAuth dan meletakkan asas untuk pengembangan masa hadapan. Sepanjang perjalanan, kami menyentuh beberapa topik penting:

• Penghijrahan pangkalan data dengan Goose untuk memastikan pengurusan data yang lancar dan berskala.
• Membina pendaftaran penyedia untuk melanjutkan sokongan dengan mudah untuk penyedia storan awan tambahan pada masa hadapan.
• Mereka bentuk seni bina fleksibel yang memudahkan untuk mengendalikan logik yang lebih kompleks di hadapan.

Itu lebih daripada cukup untuk satu siaran, memandangkan keadaan semakin lama! Kami akan kembali dalam Bahagian 2 untuk menyelesaikan kerja kami, di mana kami akan menggunakan fungsi muat turun utama.

Sehingga itu, sila terokai pelaksanaan semasa dalam GitHub saya dan nantikan langkah seterusnya. Selamat memuat turun!

Atas ialah kandungan terperinci Membina Pemuat Turun Google Drive di Golang (Bahagian 1). Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!