Carian Produk Berasaskan Imej Menggunakan Spring Boot, Google Cloud Vertex AI dan Model Gemini

pengenalan

Bayangkan anda membeli-belah dalam talian dan terjumpa produk yang anda suka tetapi tidak tahu namanya. Bukankah menarik untuk memuat naik gambar dan meminta apl mencarinya untuk anda?

Dalam artikel ini, kami akan menunjukkan kepada anda cara membina dengan tepat: ciri carian produk berasaskan imej menggunakan Spring Boot dan Google Cloud Vertex AI.

Gambaran Keseluruhan Ciri

Ciri ini membolehkan pengguna memuat naik imej dan menerima senarai produk yang sepadan dengannya, menjadikan pengalaman carian lebih intuitif dan didorong secara visual.

Ciri carian produk berasaskan imej memanfaatkan Google Cloud Vertex AI untuk memproses imej dan mengekstrak kata kunci yang berkaitan. Kata kunci ini kemudiannya digunakan untuk mencari produk yang sepadan dalam pangkalan data.

Timbunan Teknologi

• Jawa 21
• But musim bunga 3.2.5
• PostgreSQL
• AI Puncak
• ReactJS

Kami akan meneruskan proses menyediakan fungsi ini langkah demi langkah.

Langkah demi Langkah Pelaksanaan

1. Buat projek baharu di Google Console

Pertama, kita perlu membuat projek baharu di Google Console untuk ini.

Kami perlu pergi ke https://console.cloud.google.com dan buat akaun baharu jika anda sudah mempunyai akaun. Jika anda mempunyai satu, log masuk ke akaun.

Jika anda menambah akaun bank anda, Google Cloud akan menawarkan anda percubaan percuma.

Setelah anda membuat akaun atau log masuk ke akaun sedia ada, anda boleh membuat projek baharu.

2. Dayakan Perkhidmatan Vertex AI

Pada bar carian, kita perlu mencari Vertex AI dan mendayakan semua API yang disyorkan.

Vertex AI ialah platform pembelajaran mesin (ML) terurus sepenuhnya Google Cloud yang direka untuk memudahkan pembangunan, penggunaan dan pengurusan model ML. Ia membolehkan anda membina, melatih dan menggunakan model ML secara berskala dengan menyediakan alatan dan perkhidmatan seperti AutoML, latihan model tersuai, penalaan hiperparameter dan pemantauan model

Gemini 1.5 Flash ialah sebahagian daripada keluarga model Gemini Google, yang direka khusus untuk inferens yang cekap dan berprestasi tinggi dalam aplikasi ML. Model Gemini ialah satu siri model AI lanjutan yang dibangunkan oleh Google, sering digunakan dalam pemprosesan bahasa semula jadi (NLP), tugas penglihatan dan aplikasi berkuasa AI yang lain

Nota: Untuk rangka kerja lain, anda boleh menggunakan API Gemini terus di https://aistudio.google.com/app/prompts/new_chat. Gunakan ciri gesaan struktur kerana anda boleh menyesuaikan output anda agar sepadan dengan input supaya anda akan mendapat hasil yang lebih baik.

3. Buat gesaan baharu yang sepadan dengan aplikasi anda

Pada langkah ini, kami perlu menyesuaikan gesaan yang sepadan dengan aplikasi anda.

Vertex AI Studio telah menyediakan banyak contoh gesaan di Galeri Prompt. Kami menggunakan sampel Teks imej untuk JSON untuk mengekstrak kata kunci yang berkaitan dengan imej produk.

Aplikasi saya ialah CarShop, jadi saya membina gesaan seperti ini. Jangkaan saya model itu akan bertindak balas kepada saya dengan senarai kata kunci yang berkaitan dengan imej.

Gesaan saya: Ekstrak kereta nama kepada kata kunci senarai dan keluarkannya dalam JSON. Jika anda tidak menemui sebarang maklumat tentang kereta itu, sila keluarkan senarai kosong.nContoh respons: [”gulungan”, ”royce”, ”wraith”]

Selepas kami menyesuaikan gesaan yang sesuai dengan permohonan anda. Sekarang, kita pergi untuk meneroka cara menyepadukan dengan Spring Boot Application.

4. Sepadukan dengan Aplikasi Spring Boot

Saya telah membina aplikasi E-dagang tentang kereta. Jadi saya ingin mencari kereta mengikut imej.

Pertama, dalam fail pom.xml, anda harus mengemas kini kebergantungan anda:

<!-- config version for dependency-->
<properties>
    <spring-cloud-gcp.version>5.1.2</spring-cloud-gcp.version>
    <google-cloud-bom.version>26.32.0</google-cloud-bom.version>
</properties>

<!-- In your dependencyManagement, please add 2 dependencies below -->
<dependencyManagement>
  <dependencies>
      <dependency>
          <groupId>com.google.cloud</groupId>
          <artifactId>spring-cloud-gcp-dependencies</artifactId>
          <version>${spring-cloud-gcp.version}</version>
          <type>pom</type>
          <scope>import</scope>
      </dependency>

      <dependency>
          <groupId>com.google.cloud</groupId>
          <artifactId>libraries-bom</artifactId>
          <version>${google-cloud-bom.version}</version>
          <type>pom</type>
          <scope>import</scope>
      </dependency>
  </dependencies>
</dependencyManagement>

<!-- In your tab dependencies, please add the dependency below -->
<dependencies>
  <dependency>
      <groupId>com.google.cloud</groupId>
      <artifactId>google-cloud-vertexai</artifactId>
  </dependency>
</dependencies>

Selepas anda melakukan konfigurasi dalam fail pom.xml, anda mencipta kelas konfigurasi GeminiConfig.java

• MODEL_NAME: “gemini-1.5-flash”
• LOKASI: “Lokasi anda semasa menyediakan projek”
• ID_PROJEK: “ID projek anda ”

import com.google.cloud.vertexai.VertexAI;
import com.google.cloud.vertexai.generativeai.GenerativeModel;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration(proxyBeanMethods = false)
public class GeminiConfig {

    private static final String MODEL_NAME = "gemini-1.5-flash";
    private static final String LOCATION = "asia-southeast1";
    private static final String PROJECT_ID = "yasmini";

    @Bean
    public VertexAI vertexAI() {
        return new VertexAI(PROJECT_ID, LOCATION);
    }

    @Bean
    public GenerativeModel getModel(VertexAI vertexAI) {
        return new GenerativeModel(MODEL_NAME, vertexAI);
    }
}

Kedua, cipta lapisan Perkhidmatan, Pengawal untuk melaksanakan fungsi cari kereta. Buat perkhidmatan kelas.

Oleh kerana API Gemini bertindak balas dengan format penurunan nilai, kami perlu mencipta fungsi untuk membantu menukar kepada JSON, dan daripada JSON kami akan menukar kepada rentetan Senarai dalam Java.

import com.fasterxml.jackson.core.JsonProcessingException;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.google.cloud.vertexai.api.Content;
import com.google.cloud.vertexai.api.GenerateContentResponse;
import com.google.cloud.vertexai.api.Part;
import com.google.cloud.vertexai.generativeai.*;
import com.learning.yasminishop.common.entity.Product;
import com.learning.yasminishop.common.exception.AppException;
import com.learning.yasminishop.common.exception.ErrorCode;
import com.learning.yasminishop.product.ProductRepository;
import com.learning.yasminishop.product.dto.response.ProductResponse;
import com.learning.yasminishop.product.mapper.ProductMapper;
import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;
import org.springframework.web.multipart.MultipartFile;

import java.util.HashSet;
import java.util.List;
import java.util.Objects;
import java.util.Set;

@Service
@RequiredArgsConstructor
@Slf4j
@Transactional(readOnly = true)
public class YasMiniAIService {

    private final GenerativeModel generativeModel;
    private final ProductRepository productRepository;

    private final ProductMapper productMapper;


    public List<ProductResponse> findCarByImage(MultipartFile file){
        try {
            var prompt = "Extract the name car to a list keyword and output them in JSON. If you don't find any information about the car, please output the list empty.\nExample response: [\"rolls\", \"royce\", \"wraith\"]";
            var content = this.generativeModel.generateContent(
                    ContentMaker.fromMultiModalData(
                            PartMaker.fromMimeTypeAndData(Objects.requireNonNull(file.getContentType()), file.getBytes()),
                            prompt
                    )
            );

            String jsonContent = ResponseHandler.getText(content);
            log.info("Extracted keywords from image: {}", jsonContent);
            List<String> keywords = convertJsonToList(jsonContent).stream()
                    .map(String::toLowerCase)
                    .toList();

            Set<Product> results = new HashSet<>();
            for (String keyword : keywords) {
                List<Product> products = productRepository.searchByKeyword(keyword);
                results.addAll(products);
            }

            return results.stream()
                    .map(productMapper::toProductResponse)
                    .toList();

        } catch (Exception e) {
            log.error("Error finding car by image", e);
            return List.of();
        }
    }

    private List<String> convertJsonToList(String markdown) throws JsonProcessingException {
        ObjectMapper objectMapper = new ObjectMapper();
        String parseJson = markdown;
        if(markdown.contains("```

json")){
            parseJson = extractJsonFromMarkdown(markdown);
        }
        return objectMapper.readValue(parseJson, List.class);
    }

    private String extractJsonFromMarkdown(String markdown) {
        return markdown.replace("

```json\n", "").replace("\n```

", "");
    }
}

Kita perlu mencipta kelas pengawal untuk membuat titik akhir bagi bahagian hadapan

import com.learning.yasminishop.product.dto.response.ProductResponse;
import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.security.access.prepost.PreAuthorize;
import org.springframework.web.bind.annotation.*;
import org.springframework.web.multipart.MultipartFile;

import java.util.List;

@RestController
@RequestMapping("/ai")
@RequiredArgsConstructor
@Slf4j
public class YasMiniAIController {

    private final YasMiniAIService yasMiniAIService;


    @PostMapping
    public List<ProductResponse> findCar(@RequestParam("file") MultipartFile file) {

        var response = yasMiniAIService.findCarByImage(file);
        return response;
    }
}

5. Langkah PENTING: Log masuk ke Google Cloud dengan Google Cloud CLI

Aplikasi Spring Boot tidak dapat mengesahkan siapa anda dan tidak dapat untuk anda menerima sumber dalam Google Cloud.

Jadi kami perlu log masuk ke Google dan memberikan kebenaran.

5.1 Mula-mula kita perlu memasang GCloud CLI pada mesin anda

Tutorial pautan: https://cloud.google.com/sdk/docs/install
Semak pautan di atas dan pasang pada mesin anda

5.2 Log masuk

1. Buka terminal anda di projek (anda mesti memasukkan cd ke dalam projek)
2. Jenis: log masuk auth gcloud
3. Masuk, dan anda akan melihat tetingkap yang membolehkan anda log masuk

gcloud auth login

Nota: Selepas anda log masuk, bukti kelayakan disimpan dalam pakej Google Maven dan anda tidak perlu log masuk semula apabila memulakan semula aplikasi Spring Boot.

Kesimpulan

Jadi ini dilaksanakan di atas berdasarkan E-dagang projek saya, anda boleh mengubah suai padanan dengan projek anda dan rangka kerja anda. Dalam rangka kerja lain, bukan but spring (NestJs, ..), anda boleh menggunakan https://aistudio.google.com/app/prompts/new_chat. dan tidak perlu membuat akaun Google Cloud baharu.

Anda boleh menyemak pelaksanaan terperinci di repo saya:

Backend: https://github.com/duongminhhieu/YasMiniShop
Bahagian hadapan: https://github.com/duongminhhieu/YasMini-Frontend

Selamat belajar !!!

Atas ialah kandungan terperinci Carian Produk Berasaskan Imej Menggunakan Spring Boot, Google Cloud Vertex AI dan Model Gemini. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!