Google BigQuery에서는 SQL 쿼리를 매개변수화할 수 있습니다. 이 개념에 익숙하지 않다면 기본적으로 SQL 쿼리를 다음과 같이 매개변수화된 템플릿으로 작성할 수 있다는 의미입니다.
INSERT INTO mydataset.mytable(columnA, columnB) VALUES (@valueA, @valueB)
그리고 값을 별도로 전달합니다. 여기에는 수많은 이점이 있습니다.
Python 스크립트에서 쿼리 매개변수를 전달하는 방법은 언뜻 보기에 간단해 보입니다. 예:
from google.cloud.bigquery import ( Client, ScalarQueryParameter, ArrayQueryParameter, StructQueryParameter, QueryJobConfig, ) client=Client() client.query(" INSERT INTO mydataset.mytable(columnA, columnB) VALUES (@valueA, @valueB) ", job_config=QueryJobConfig( query_parameters=[ ScalarQueryParameter("valueA","STRING","A"), ScalarQueryParameter("valueB","STRING","B") ])
위 예에서는 A열과 B열에 간단한("스칼라") 값을 삽입합니다. 그러나 더 복잡한 매개변수를 전달할 수도 있습니다.
구조체 배열을 삽입하려고 할 때 문제가 발생합니다. 웹에는 문제가 많고 문서도 거의 없으며 해당 주제에 대한 리소스도 거의 없습니다. 이 글의 목표는 이러한 격차를 메우는 것입니다.
대상 테이블에 저장하려는 다음 개체를 정의해 보겠습니다
from dataclasses import dataclass @dataclass class Country: name: str capital_city: str @dataclass class Continent: name: str countries: list[Country]
이 매개변수화된 쿼리를 호출하여
query = UPDATE continents SET countries=@countries WHERE name="Oceania"
얕은 문서를 따르는 첫 번째 시도는
client.query(query, job_config=QueryJobConfig(query_parameters=[ ArrayQueryParameter("countries", "RECORD", [ {name="New Zealand", capital_city="Wellington"}, {name="Fiji", capital_city="Suva"} ...] ]))
비참하게 실패할 것입니다
속성 오류: 'dict' 개체에 'to_api_repr' 속성이 없습니다
생성자의 세 번째 인수인 값은 원하는 값이 아니라 StructQueryParameter 인스턴스의 컬렉션이어야 합니다. 그럼 만들어 봅시다:
client.query(query, job_config=QueryJobConfig(query_parameters=[ ArrayQueryParameter("countries", "RECORD", [ StructQueryParameter("countries", ScalarQueryParameter("name", "STRING", ct.name), ScalarQueryParameter("capital_city", "STRING", ct.capital_city) ) for ct in countries]) ]))
이번에는 작동합니다...빈 배열을 설정하려고 할 때까지
client.query(query, job_config=QueryJobConfig( query_parameters=[ ArrayQueryParameter("countries", "RECORD", []) ]))
ValueError: 빈 배열에 대한 자세한 구조체 항목 유형 정보가 누락되었습니다. StructQueryParameterType 인스턴스를 제공하세요.
오류 메시지는 매우 명확합니다. 'RECORD'만으로는 BigQuery가 빈 배열로 무엇을 해야 할지 알 수 없습니다. 완전히 상세한 구조가 필요합니다. 그러세요
client.query(query, job_config=QueryJobConfig(query_parameters=[ ArrayQueryParameter("countries", StructQueryParameterType( ScalarQueryParameterType("STRING","name"), ScalarQueryParameterType("STRING","capital_city") ), []) ]))
(...ParameterType 생성자의 인수 순서가 어떻게 ...Parameter 생성자의 반대인지 확인하세요. 또 다른 함정일 뿐입니다...)
이제 빈 배열에서도 작동합니다. 앗!
알고 있어야 할 마지막 문제: StructQueryParameterType의 모든 하위 필드에는 이름이 있어야 합니다. 두 번째 매개변수(이름)가 생성자에서 선택 사항인 경우에도 마찬가지입니다. 실제로 하위 필드에는 필수입니다. 그렇지 않으면 새로운 종류의 오류가 발생합니다
빈 구조체 필드 이름
쿼리 매개변수에서 레코드 배열의 사용법을 완료하기 위해 알아야 할 전부라고 생각합니다. 도움이 되기를 바랍니다!
읽어주셔서 감사합니다! 저는 Stack Labs의 데이터 엔지니어 Matthieu입니다.
Stack Labs 데이터 플랫폼을 알아보고 싶거나 열정적인 데이터 엔지니어링 팀에 합류하고 싶다면 저희에게 연락주세요.
Denys Nevozhai sur Unsplash의 사진
위 내용은 Bigquery의 매개변수화된 쿼리에서 구조체 배열을 전달하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!