Rumah >Peranti teknologi >AI >Pengiktirafan teks adegan menggunakan pengenalan teks berasaskan penglihatan
Pengiktirafan teks adegan (STR) kekal sebagai cabaran penting bagi penyelidik kerana pelbagai penampilan teks dalam tetapan dunia nyata. Mengiktiraf teks pada dokumen adalah berbeza daripada mengenal pasti teks pada t-shirt, misalnya. Ramalan multi-granulariti untuk model pengiktirafan teks adegan (MGP-STR), yang diperkenalkan di ECCV 2022, menawarkan pendekatan pecah tanah. MGP-STR menggabungkan keteguhan Transformers Visi (VIT) dengan ramalan linguistik multi-granulariti yang inovatif, meningkatkan keupayaannya untuk mengendalikan tugas STR yang kompleks. Ini menghasilkan ketepatan yang lebih tinggi dan kebolehgunaan yang lebih baik merentasi senario dunia sebenar yang mencabar, memberikan penyelesaian yang mudah namun berkuasa.
*Artikel ini adalah sebahagian daripada *** Data Science Blogathon.
MGP-STR adalah model STR berasaskan penglihatan tanpa memerlukan model bahasa yang berasingan. Ia mengintegrasikan maklumat linguistik terus ke dalam senibina menggunakan strategi ramalan multi-granulariti (MGP). Pendekatan tersirat ini membolehkan MGP-STR untuk mengatasi kedua-dua model visual semata-mata dan kaedah yang dipertingkatkan bahasa, mencapai hasil STR yang canggih.
Senibina terdiri daripada dua komponen utama:
Gabungan ramalan pada watak, subword, dan tahap perkataan melalui strategi yang mudah namun berkesan memastikan MGP-STR menangkap butiran visual dan linguistik.
MGP-STR terutamanya untuk tugas OCR pada imej teks. Keupayaannya yang unik untuk secara tersirat menggabungkan pengetahuan linguistik menjadikannya sangat berguna dalam senario dunia nyata dengan teks yang bervariasi dan terdistorsi. Contohnya termasuk:
Bahagian ini menunjukkan cara menggunakan MGP-STR untuk pengiktirafan teks adegan pada imej sampel. Anda memerlukan Pytorch, Perpustakaan Transformers, dan Ketergantungan (PIL, Permintaan).
Import perpustakaan yang diperlukan: Transformer untuk pengendalian model, PIL untuk manipulasi imej, dan permintaan untuk mengambil imej dalam talian.
<code>from transformers import MgpstrProcessor, MgpstrForSceneTextRecognition import requests import base64 from io import BytesIO from PIL import Image from IPython.display import display, Image as IPImage</code>
Muatkan model asas MGP-STR dan pemprosesnya daripada memeluk transformer muka.
<code>processor = MgpstrProcessor.from_pretrained('alibaba-damo/mgp-str-base') model = MgpstrForSceneTextRecognition.from_pretrained('alibaba-damo/mgp-str-base')</code>
Buat fungsi untuk memasukkan URL imej, memprosesnya menggunakan MGP-STR, dan REDICTION TEXT. Ini mengendalikan penukaran imej, pengekodan BASE64, dan penyahkodan teks.
<code>def predict(url): image = Image.open(requests.get(url, stream=True).raw).convert("RGB") pixel_values = processor(images=image, return_tensors="pt").pixel_values outputs = model(pixel_values) generated_text = processor.batch_decode(outputs.logits)['generated_text'] buffered = BytesIO() image.save(buffered, format="PNG") image_base64 = base64.b64encode(buffered.getvalue()).decode("utf-8") display(IPImage(data=base64.b64decode(image_base64))) print("\n\n") return generated_text</code>
Contoh -contoh dengan URL imej dan ramalan ditinggalkan di sini untuk menjimatkan ruang, tetapi mereka akan mengikuti struktur yang sama seperti dalam teks asal, memanggil fungsi predict
dengan URL imej yang berbeza.
Ketepatan model terbukti dari contoh imej. Kecekapannya patut diberi perhatian, berjalan pada CPU dengan penggunaan RAM yang rendah. Ini menjadikannya mudah disesuaikan untuk penalaan halus pada tugas khusus domain.
MGP-STR berkesan menggabungkan pemahaman visi dan bahasa. Ramalan multi-granulariti yang inovatif memberikan pendekatan yang komprehensif untuk STR, meningkatkan ketepatan dan kesesuaian tanpa model bahasa luaran. Senibina yang mudah namun tepat menjadikannya alat yang berharga untuk penyelidik dan pemaju di OCR dan STR. Sifat sumber terbuka menggalakkan kemajuan selanjutnya dalam bidang.
S1: Apakah MGP-STR dan bagaimana ia berbeza daripada model STR tradisional? A1: MGP-STR mengintegrasikan ramalan linguistik terus ke dalam rangka kerja berasaskan penglihatan menggunakan MGP, menghapuskan keperluan untuk model bahasa berasingan yang terdapat dalam kaedah tradisional.
S2: Apakah dataset yang digunakan untuk melatih MGP-STR? A2: Model asas dilatih di MjSynth dan SynthText.
S3: Bolehkah MGP-STR mengendalikan imej teks yang terdistorsi atau berkualiti rendah? A3: Ya, mekanisme ramalan multi-granularitasnya membolehkan ia menangani cabaran tersebut.
S4: Adakah MGP-STR sesuai untuk bahasa selain bahasa Inggeris? A4: Walaupun dioptimumkan untuk bahasa Inggeris, ia boleh disesuaikan dengan bahasa lain dengan data latihan yang sesuai.
S5: Bagaimanakah modul A³ menyumbang kepada prestasi MGP-STR? A5: Modul A³ menyempurnakan output VIT, membolehkan ramalan peringkat subword dan membenamkan maklumat linguistik.
NOTA: Letak gambar imej tetap sama seperti dalam input asal. Ingatlah untuk menggantikan pautan kurungan dengan pautan sebenar.
Atas ialah kandungan terperinci Pengiktirafan teks adegan menggunakan pengenalan teks berasaskan penglihatan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!