Erreur de soumission de travail par lots « Impossible de traiter tous les documents » L'uris semble correct ?
J'ai essayé de faire fonctionner les soumissions par lots de Document AI, mais je rencontre quelques difficultés. J'ai utilisé un RawDocument pour la soumission d'un seul fichier en supposant que je pouvais parcourir mon ensemble de données (27 000 images), mais j'ai opté pour le traitement par lots car cela semblait être la technique la plus appropriée.
Lorsque j'exécute le code, je vois l'erreur : "Impossible de traiter tous les documents". Les premières lignes d'informations de débogage sont :
O:17:"GoogleRpcStatus":5:{ s:7:"*Code";i:3;s:10:"*Message";s:32:"Impossible de traiter tous les documents."; s:26 : "Détails GoogleRpcStatus" ; O:38:"GoogleProtobufInternalRepeatedField":4:{ s:49:"GoogleProtobufInternalRepeatedFieldcontainer";a:0:{}s:44:"GoogleProtobufInternalRepeatedFieldtype";i:11;s:45:"GoogleProtobufInternalRepeatedFieldklass";s:19:"GoogleProtobufAny";s:52:"GoogleProtobufInternalRepeatedFieldlegacy_k fille"; s:19:"GoogleProtobufAny";}s:38:"GoogleProtobuf InternalMessagedesc";O:35:"GoogleProtobufInternalDescriptor":13:{s:46:"GoogleProtobufInternalDescriptorfull_name";s:17:"google.rpc.Status";s : 42:"GoogleProtobufInternalDescriptorfield";a:3:{i:1;O:40:"GoogleProtobufInternalFieldDescriptor":14:{s:46:"GoogleProtobufInternalFieldDescriptorname ";s:4:"code";```
Le support pour ce bug indique que la cause de l'erreur est :
Les paramètresgcsUriPrefix et gcsOutputConfig.gcsUri doivent commencer par gs:// et se terminer par une barre oblique inverse (/). Vérifiez la configuration de l'URI du bucket.
Je n'utilise pas gcsUriPrefix (dois-je ? Mon compartiment > Limites maximales de lots), mais mon gcsOutputConfig.gcsUri est dans ces limites. La liste de fichiers que je fournis donne les noms de fichiers (pointant vers le bon compartiment), il ne devrait donc pas y avoir de barre oblique inverse de fin.
Bienvenue pour consulter
function filesFromBucket( $directoryPrefix ) {
// NOT recursive, does not search the structure
$gcsDocumentList = [];
// see https://cloud.google.com/storage/docs/samples/storage-list-files-with-prefix
$bucketName = 'my-input-bucket';
$storage = new StorageClient();
$bucket = $storage->bucket($bucketName);
$options = ['prefix' => $directoryPrefix];
foreach ($bucket->objects($options) as $object) {
$doc = new GcsDocument();
$doc->setGcsUri('gs://'.$object->name());
$doc->setMimeType($object->info()['contentType']);
array_push( $gcsDocumentList, $doc );
}
$gcsDocuments = new GcsDocuments();
$gcsDocuments->setDocuments($gcsDocumentList);
return $gcsDocuments;
}
function batchJob ( ) {
$inputConfig = new BatchDocumentsInputConfig( ['gcs_documents'=>filesFromBucket('the-bucket-path/')] );
// see https://cloud.google.com/php/docs/reference/cloud-document-ai/latest/V1.DocumentOutputConfig
// nb: all uri paths must end with / or an error will be generated.
$outputConfig = new DocumentOutputConfig(
[ 'gcs_output_config' =>
new GcsOutputConfig( ['gcs_uri'=>'gs://my-output-bucket/'] ) ]
);
// see https://cloud.google.com/php/docs/reference/cloud-document-ai/latest/V1.DocumentProcessorServiceClient
$documentProcessorServiceClient = new DocumentProcessorServiceClient();
try {
// derived from the prediction endpoint
$name = 'projects/######/locations/us/processors/#######';
$operationResponse = $documentProcessorServiceClient->batchProcessDocuments($name, ['inputDocuments'=>$inputConfig, 'documentOutputConfig'=>$outputConfig]);
$operationResponse->pollUntilComplete();
if ($operationResponse->operationSucceeded()) {
$result = $operationResponse->getResult();
printf('<br>result: %s<br>',serialize($result));
// doSomethingWith($result)
} else {
$error = $operationResponse->getError();
printf('<br>error: %s<br>', serialize($error));
// handleError($error)
}
} finally {
$documentProcessorServiceClient->close();
}
}