Azure Semantic Search と OpenAI を使用してコグニティブ検索システムを構築する

今日のデジタル時代では、強力でスケーラブルで効率的なシステムを持つことは、単なる競争上の優位性ではありません。それは必要です。ユーザー入力処理を最適化してドキュメント検索を簡素化することに取り組んでいる場合でも、サービスとプラットフォームの組み合わせが比類のないパフォーマンスの鍵となります。この記事では、Azure Cognitive Services のパワーと OpenAI の機能を組み合わせた総合的なアプローチについて説明します。意図認識、ドキュメント フィルタリング、ドメイン固有のアルゴリズム、テキスト要約を詳しく調べることで、ユーザーの意図を理解するだけでなく、情報を効率的に処理して表示するシステムの作成方法を学びます。

これを構築します:

環境のセットアップ

本題に入る前に、確認しましょう。インストールしました。 必要なパッケージをダウンロードし、環境変数を設定します。

!pip show azure-search-documents
%pip install azure-search-documents --pre
%pip show azure-search-documents
!pip install python-dotenv
!pip install openai
import os
import requests
import json
import openai
openai.api_key = os.getenv("AZURE_OPENAI_KEY")
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
openai.api_type = 'azure'
openai.api_version = '2023-05-15'
# Look in Azure OpenAI Studio > Deployments
deployment_name = 'gpt-35-turbo'

ここでは、必要な API キー、エンドポイント、タイプを使用して OpenAI 環境をセットアップします。

Azure Search のセットアップ

Azure Semantic Search を使用するには、必要なモジュールをインポートし、環境をセットアップする必要があります。

import os
from azure.core.credentials import AzureKeyCredential
from azure.search.documents.indexes import SearchIndexClient
from azure.search.documents import SearchClient
from azure.search.documents.indexes.models import (
    ComplexField,
    CorsOptions,
    SearchIndex,
    ScoringProfile,
    SearchFieldDataType,
    SimpleField,
    SearchableField
)

モジュールをインポートした後、Azure Search Service エンドポイントと API キーを設定できるようになります:

# 从环境中设置服务端点和 API 密钥
service_name = "xxxxx"
admin_key ="xxxxx"
# 如果您共享密钥 - 请确保您的 index_name 是唯一的！
index_name = "hotels-quickstart"
# 创建 SDK 客户
endpoint = "https://{}.search.windows.net/".format(service_name)
admin_client = SearchIndexClient(endpoint=endpoint,
                      index_name=index_name,
                      credential=AzureKeyCredential(admin_key))

search_client = SearchClient(endpoint=endpoint,
                      index_name=index_name,
                      credential=AzureKeyCredential(admin_key))

(注: コードを共有する前に必ずキーをマスクまたは非表示にしてください。)

Azure Semantic Search のインデックスの準備

Azure Search にデータを追加する前に、データの構造を記述するインデックスを定義する必要があります:

# 删除索引（如果存在）
try:
    result = admin_client.delete_index(index_name)
    print ('Index', index_name, 'Deleted')
except Exception as ex:
    print (ex)

このコード スニペットにより、インデックスが既に存在する場合は削除されます。これは、コードを再実行する場合やインデックスを変更する場合に便利です。

ここで、インデックスのスキーマを指定しましょう:

# 指定索引模式
name = index_name 
fields = [ 
        SimpleField(name= "HotelId" , type=SearchFieldDataType.String, key= True ), 
        SearchableField(name= "HotelName" , type=SearchFieldDataType.String, sortable= True ), 
        SearchableField （名称= “描述”，类型=SearchFieldDataType.String，analyzer_name= “en.lucene”），
        SearchableField（名称= “Description_fr”，类型=SearchFieldDataType.String，analyzer_name= “fr.lucene”），
        SearchableField（名称= “类别”、 type=SearchFieldDataType.String、facetable= True、filterable= True、sortable= True )、
        SearchableField(name= "Tags"、collection= True、type=SearchFieldDataType.String、facetable= True、filterable= True )、
        SimpleField(name = “ParkingInincluded”，类型=SearchFieldDataType.Boolean，facetable= True，filterable= True，sortable= True），
        SimpleField（name= “LastRenovationDate”，type=SearchFieldDataType.DateTime关闭设置，facetable= True，filterable=True、sortable= True )、
        SimpleField(name= "Rating"、 type=SearchFieldDataType.Double、facetable= True、filterable= True、sortable= True )、
        ComplexField(name= "地址"、 fields=[ 
            SearchableField(name= " StreetAddress"、 type=SearchFieldDataType.String)、
            SearchableField(name= "City"、 type=SearchFieldDataType.String、facetable= True、 filterable= True、 sortable= True )、
            SearchableField(name= "StateProvince"、 type=SearchFieldDataType.String、facetable= True、filterable= True、sortable= True )、
            SearchableField(name= "邮政编码"、 type=SearchFieldDataType.String、facetable= True、filterable= True、sortable= True )、
            SearchableField(name = “国家”，类型= SearchFieldDataType.String，facetable = True，filterable = True，sortable = True），
        ]）
    ] 
cors_options = CorsOptions（allowed_origins = [ “*” ]，max_age_in_seconds = 60）
Scoring_profiles = [] 
suggester = [{ 'name' : 'sg' , 'source_fields' : [ '标签' , '地址/城市' , '地址/国家' ]}]

次に、Azure 上にこのインデックスを作成する必要があります:

index = SearchIndex(
    name=name,
    fields=fields,
    scoring_profiles=scoring_profiles,
    suggesters = suggester,
    cors_options=cors_options)
try:
    result = admin_client.create_index(index)
    print ('Index', result.name, 'created')
except Exception as ex:
    print (ex)

インデックスを作成した後、次のことを行う必要があります。それにドキュメントを入力します。どのような種類のドキュメントでも使用できることに注意してください。ここでは、BLOB ストレージに保持されるドキュメントを手動で追加するだけです:

文档 = [ 
    { 
    "@search.action": "上传", "@search.action" : "上传" , 
    "HotelId" : "1" , 
    "HotelName" : "秘密点汽车旅馆" , 
    "Description" : "酒店地理位置优越，位于纽约市中心的城市主要商业干道上。几分钟即可到达时代广场和城市的历史中心，以及使纽约成为美国最具吸引力的城市之一的其他名胜古迹和国际大都市。” ，
    “Description_fr”：“L'hôtel est idéalement situé sur la prime artère Commerciale de la ville en plein cœur de New York.A insi que d'autres lieux d'intérêt qui font纽约的城市充满魅力和美国的国际化。” , 
    "Category" : "精品店" , 
    "Tags" : [ "游泳池" , "空调" , "礼宾服务" ], 
    "ParkingInincluded" : "false" , 
    "LastRenovationDate" : "1970-01-18T00:00:00Z ”，
    "Rating" : 3.60 , 
    "Address" : {    
        “StreetAddress”：“677 第五大道”，
        “City”：“纽约”，
        “StateProvince”：“纽约” ，
        “PostalCode”：“10022”，
        “Country”：“美国”
         } 
    }，
    { 
    “@search. action" : "上传" , 
    "HotelId" : "2" , 
    "HotelName" : "双圆顶汽车旅馆" , 
    "Description" :“该酒店坐落在一座十九世纪的广场上，该广场已按照最高建筑标准进行扩建和翻新，打造出一座现代化、实用的一流酒店，艺术和独特的历史元素与最现代的舒适设施共存。” , 
    "Description_fr" : "L'hôtel 位于十九世纪的地方，是一座现代化酒店的高级规范建筑，在艺术和历史独特方面具有一流的功能和一流的设计舒适与现代共存。” , 
    "Category" : "精品店" , 
    "Tags" : [ "泳池" ,], 
    "ParkingInincluded" : "false" , 
    "LastRenovationDate" : "1979-02-18T00:00:00Z" , 
    "Rating" : 3.60 , 
    "Address" : { 
        "StreetAddress" : "140 大学城中心" , 
        "City”：“萨拉索塔”，
        “StateProvince”：“佛罗里达州”，
        “PostalCode”：“34243”，
        “Country”：“美国”
         } 
    }，
    { 
    "@search.action" : "上传" , 
    "HotelId" :"3" , 
    "HotelName" : "三重景观酒店" , 
    "Description" : "该酒店在 William Dough 的管理下以其卓越的美食脱颖而出，他为酒店的所有餐厅服务提供建议并监督。" , 
    "Description_fr" : "L'hôtel 位于十九世纪的地方，是一座现代化酒店的高级规范建筑，在艺术和历史独特方面具有一流的功能和一流的设计舒适与现代共存。” , 
    "Category" : "度假村中心" ,
    "Tags" : [ "酒吧" , "欧陆式早餐" ], 
    "ParkingInincluded" : "true" , 
    "LastRenovationDate" : "2015-09-20T00:00:00Z" , 
    "Rating" : 4.80 , 
    "Address" : { 
        "StreetAddress" : “3393 Peachtree Rd”、
        “City”：“亚特兰大”、
        “StateProvince”：“GA”、
        “PostalCode”：“30326”、
        “Country”：“美国”
         } 
    }
]

次に、これらのドキュメントをセマンティック検索インデックスにプッシュします。

try:
    result = search_client.upload_documents(documents=documents)
    print("Upload of new document succeeded: {}".format(result[0].succeeded))
except Exception as ex:
    print (ex.message)

OpenAI との統合

OpenAI への接続を確立しましょう:

question="What is the address of ChatGpt Hotel?"

次に、Azure OpenAI 接続を追加します:

###
import os
import requests
import json
import openai
os.environ["AZURE_OPENAI_KEY"] = "xxxx"
os.environ["AZURE_OPENAI_ENDPOINT"] = "xxxx"
openai.api_key = os.getenv("AZURE_OPENAI_KEY")
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
openai.api_type = 'azure'
openai.api_version = '2023-05-15'
# 在 Azure OpenAI Studio > 部署中查找
deployment_name = 'gpt-35-turbo'
###
# 定义一个函数，根据系统消息和消息创建提示
def create_prompt(system_message, messages):
    prompt = system_message
    message_template = "\n<|im_start|>{}\n{}\n<|im_end|>"
    for message in messages:
        prompt += message_template.format(message[&#39;sender&#39;], message[&#39;text&#39;])
    prompt += "\n<|im_start|>assistant\n"
    return prompt
# 定义系统消息
system_message_template = "<|im_start|>system\n{}\n<|im_end|>"
system_message = system_message_template.format("")
print(system_message)

この時点で、セマンティック検索と Azure OpenAI を使用できるようになります。セマンティック検索をクエリしてみましょう:

import json
results =  search_client.search(search_text=question, include_total_count=True, select='HotelId,HotelName,Tags,Address')=  search_client.search(search_text=question, include_total_count=True, select='HotelId,HotelName,Tags,Address')
json_results=""
print ('Total Documents Matching Query:', results.get_count())
for result in results:
    #print("{}: {}: {}".format(result["HotelId"], result["HotelName"], result["Tags"],results["Address"]))
    json_results+=str(result)
print(json_results)

検索結果が手元にあるので、Azure OpenAI を利用して結果を解釈したり、さらに処理したりできます。

# 创建消息列表来跟踪对话
messages = [{"sender": "user", "text": "Hello, take into account the following information "+json_results},
            {"sender": "user", "text": question},
            ]
response = openai.Completion.create(
  engine=deployment_name,
  prompt= create_prompt(system_message, messages),
  temperature=0.7,
  max_tokens=800,
  top_p=0.95,
  frequency_penalty=0,
  presence_penalty=0,
    stop=["<|im_end|>"])
print(response)

このコードは、OpenAI モデルに検索結果と元の質問を要求し、データに基づいて意味のある情報を処理して提供できるようにします。

結論

この記事では、Azure Semantic Search の機能と OpenAI の機能を組み合わせる方法を学びました。これら 2 つの強力なツールを統合することで、アプリケーションで豊富でインテリジェントな検索結果をユーザーに提供できます。

以上がAzure Semantic Search と OpenAI を使用してコグニティブ検索システムを構築するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。