CCIG2024では、Hehe Information文書分析技術が大規模モデルコーパスの「飢餓」問題を解決

2024年、中国イメージ・グラフィックス会議が古都西安で盛大に開幕します。このカンファレンスは、中国画像グラフィック学会が主催し、空軍医科大学、西安交通大学、北西理工大学が主催し、20 以上のフォーラムと 100 以上の成果を通じて、生産用人工知能の展示に焦点を当てました。大規模なモデル、機械学習、脳にインスピレーションを得たコンピューティング、その他の画像グラフィックスの分野。

大型モデル技術は、多くの業界の画像処理ニーズを満たすために技術革新とともに広く使用されています。会議中、CSIG文書画像分析認識特別委員会と上海和和信息技術有限公司（「和和新恒」）は共催でフォーラム「大型モデル技術とそのフロンティア応用」を開催し、南方諸国の代表者も参加した。中国理工大学と、上海交通大学、清華大学、復旦大学、上海人工知能研究所、和和新大学、その他の大学、研究機関、企業の専門家代表が、大型モデル技術の開発と応用について徹底的な議論を行った。画像フィールド。

キャプション: 業界のフォロワーが「大規模モデル技術とそのフロンティアアプリケーション」のフォーラム共有を聞いています

大規模モデルの「急増」の背後には、モデルトレーニングに関する「エネルギー」がありますコーパスの隠れた危機」。人工知能研究者グループであるエポックリサーチは、機械学習データセットの「高品質な言語データ」が2026年までに枯渇する可能性があると予測している。この段階では、大量の 高品質 コーパス データが 書籍、論文、研究報告書、企業文書 およびその他の文書に存在しており、複雑な レイアウト の構造により、トレーニング コーパスが 制限されています。大規模モデルの処理のためのアプリケーション機能と大規模モデルのドキュメントの質問と回答。 文書解析テクノロジーの進歩により、機械は文書内の複数の要素を識別し、テキスト、表、画像などをより適切に処理できるようになります。複数の種類のデータ、文書の読み取り順序の復元、大規模モデルのトレーニングとアプリケーションを高速化します。フォーラムでは、和和情報インテリジェントイノベーション部門の研究開発ディレクター、チャン・ヤン氏が文書解析の分野における和和情報インテリジェント文書処理技術の成果を共有し、参加者に新たな技術的視点をもたらしました。

「文書解析の難しさは、文書内のさまざまな要素を正確に特定し、それらの間の論理関係を理解する方法です。'物理レイアウト分析'に注意を払う必要がありますChang Yang 氏によると、物理レイアウト分析は、視覚的な特徴とドキュメントのレイアウトに焦点を当てています。主なタスクは、関連性の高いテキストを段落などの領域に集約することです。ターゲット検出タスクはモデリングのために選択され、回帰に基づく単一段階検出モデルがフィッティングに使用され、文書内のさまざまなレイアウト方法が得られます。論理レイアウト分析は意味の分析に焦点を当てています。テキスト ブロックは、意味論に従ってモデル化されます。たとえば、意味論的な階層関係を通じて、ディレクトリ ツリー 構造を形成します。 文書解析技術では、文書要素の検出、テキストテーブル認識、文書レイアウト分析

、読み順復元などのタスクには、

レイアウト要素と全体のレイアウトの判断が含まれます。文書処理の分野での典型的な技術的問題。 Hehe Informationは、10年以上の技術蓄積により、電子ファイル解析、画像処理、テキスト認識、表認識、レイアウト解析、レイアウト復元を開拓してきました。 植字レイアウトやその他の文書インテリジェント処理プロセスは、電子文書やスキャンに直面して、テキスト、テーブル、ワイヤレステーブル、クロスページテーブル、ヘッダー、フッター、を柔軟に識別できます。数式、画像、フローチャート、その他のレイアウト要素を正確に文書の読み取り順序を復元し、正確なトレーニングコーパスと文書質疑応答アプリケーションを大規模モデルフィールドに提供します。

キャプション: インテリジェントな文書処理テクノロジーを体験するために整列する大学の研究者と学生

「調査中に、現実世界の文書には非常に豊富なレイアウト タイプがあり、単一のレイアウト タイプを単純に使用することはできないことがわかりました。 「2 列、3 列などのカテゴリを定義する必要がある。」Chang Yang 氏は、近年のオープンボキャブラリーオブジェクト検出 (OVD)、視覚的意味論的整合 (Alignment)、および生成モデルなどの最先端の開発により、新しいものがもたらされるだろうと述べています。 Hehe Information Technology チームは、研究のアイデアに基づいて、インテリジェントなドキュメント処理の分野の調査も継続し、新しいテクノロジーが業界でより迅速に価値を生み出すことができるようにします。

以上がCCIG2024では、Hehe Information文書分析技術が大規模モデルコーパスの「飢餓」問題を解決の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。