centos - problème de chargement des données gpload
数据装载过程中一直报错:
-f my.yml
2017-04-25 16:22:18|INFO| session commencée 2017-04-25 16:22:18
2017-04-25 16:22:18|INFO|définition du schéma 'public' pour la table 'test'
2017-04-25 16:22:18|INFO| démarré gpfdist -p 8000 -P 8001 -f "/home/gpadmin/extend/test2." -t 30
2017-04-25 16:22:18||Une erreur de traitement du fichier de contrôle gpload s'est produite. La configuration doit contenir gpload:input:quotepour les données au format CSV
2017-04-25 16:22:18|INFO|rows Inserted = 0
2017-04-25 16:22:18|INFO|rows Updated = 0
2017 -04-25 16:22:18|INFO|erreurs de formatage des données = 0
2017-04-25 16:22:18|INFO| échoué
my.yml内容 :
---
VERSION: 1.0.0.1
DATABASE: ljlj-test
USER: gpadmin
HOST: mdw
PORT: 5432
:
INPUT:
- SOURCE:
LOCAL_HOSTNAME:
- mdw
PORT: 8000
:
- /home/gpadmin/extend/test2.
- COLUMNS:
- id: int
- pact_number: varchar(50)
- grant_type: varchar(50)
- ticket_usecode: varchar(100)
- pact_id: int
- FORMAT:
- DELIMITER: '|'
- ERROR_LIMIT: 25
- ERROR_TABLE: test_err
OUTPUT:
- TABLE: test
- MODE: INSERT
test2.内容 :
6|102900928|product_conume|4290000100005|0
7|102900929|product_conume|3260000100006|0
的deug模式 :
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour la version
2017-04-25 16:28:30|DEBUG|version d'essai
2017-04-25 16:28:30 |DEBUG|version trouvée
2017-04-25 16:28:30|INFO| session démarrée 2017-04-25 16:28:30
2017-04-25 16:28:30|DEBUG|config {u'database' : u'ljlj-test', u'host' : u'mdw', u'version' : u'1.0.0.1', u'user' : u'gpadmin', u'' : {u'input' : [{u'source' : {u'local_hostname' : [u'mdw' ], u'port' : 8000, u'' : [u'/home/gpadmin/extend/test2.']}}, {u'columns' : [{u'id' : u'int'}, { u'pact_number' : u'varchar(50)'}, {u'grant_type' : u'varchar(50)'}, {u'ticket_usecode' : u'varchar(100)'}, {u'pact_id' : u'int'}]}, {u'format' : u''}, {u'delimiter' : u'|'}, {u'error_limit' : 25}, {u'error_table' : u'test_err' }], u'output' : [{u'table' : u'test'}, {u'mode' : u'INSERT'}]}, u'port' : 5432}
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :output
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai de sortie
2017-04-25 16:28:30|DEBUG|sortie trouvée
2017-04-25 16:28:30|DEBUG|obtention de la configuration pour :output :table
2017-04-25 16:28:30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai de sortie
2017 -04-25 16:28:30|DEBUG|sortie trouvée
2017-04-25 16:28:30|DEBUG|table d'essai
2017-04-25 16:28:30|DEBUG|table trouvée
2017-04 -25 16:28:30|DEBUG|obtenir la configuration pour l'hôte
2017-04-25 16:28:30|DEBUG|essayer l'hôte
2017-04-25 16:28:30|DEBUG|hôte trouvé
2017-04 -25 16:28:30|DEBUG|obtenir la configuration du port
2017-04-25 16:28:30|DEBUG|essayer le port
2017-04-25 16:28:30|DEBUG|port trouvé
2017-04 -25 16:28:30|DEBUG|obtenir la configuration pour l'utilisateur
2017-04-25 16:28:30|DEBUG|essayer l'utilisateur
2017-04-25 16:28:30|DEBUG|utilisateur trouvé
2017-04 -25 16:28:30|DEBUG|obtenir la configuration de la base de données
2017-04-25 16:28:30|DEBUG|essayer la base de données
2017-04-25 16:28:30|DEBUG|base de données trouvée
2017-04 -25 16:28:30|DEBUG|obtenir la configuration du mot de passe
2017-04-25 16:28:30|DEBUG|essayer le mot de passe
2017-04-25 16:28:30|DEBUG|chaîne de connexion : user=gpadmin host=mdw port=5432 database=ljlj-test
2017-04-25 16:28:30|DEBUG|Connecté avec succès à la base de données
2017-04-25 16:28:30|INFO|définition du schéma « public » pour la table 'test'
2017-04-25 16:28:30|DEBUG|colonne d'entrée trouvée : [u'"id"', u'integer', None, False]
2017-04-25 16:28:30| DEBUG|colonne d'entrée trouvée : [u'"pact_number"', u'character variant(50)', Aucun, False]
2017-04-25 16:28:30|DEBUG|colonne d'entrée trouvée : [u'"grant_type "', u'caractère variable(50)', Aucun, Faux]
2017-04-25 16:28:30|DEBUG|colonne d'entrée trouvée : [u'"ticket_usecode"', u'caractère variable(100)' , Aucun, Faux]
2017-04-25 16:28:30|DEBUG|colonne d'entrée trouvée : [u'"pact_id"', u'integer', Aucun, Faux]
2017-04-25 16:28 : 30|DEBUG|obtenir la configuration pour :input:columns
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28 :30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de colonnes
2017-04-25 16:28:30 |DEBUG|colonnes trouvées
25/04/2017 16:28:30|DEBUG|les colonnes sont :
25/04/2017 16:28:30|DEBUG|id : int
25/04/2017 16:28 : 30|DEBUG|numéro_pact : varchar(50)
25/04/2017 16:28:30|DEBUG|type_grant : varchar(50)
25/04/2017 16:28:30|DEBUG|ticket_usecode : varchar(100)
2017-04-25 16:28:30|DEBUG|pact_id: int
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :output:mapping
2017-04-25 16:28:30| DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai de sortie
2017-04-25 16:28:30|DEBUG|sortie trouvée
2017-04-25 16:28:30|DEBUG|essai de cartographie
2017-04-25 16:28:30|DEBUG|"id": integer = "id"
2017-04-25 16:28:30 |DEBUG|"pact_number": caractère variable(50) = "pact_number"
2017-04-25 16:28:30|DEBUG|"grant_type": caractère variable(50) = "grant_type"
2017-04-25 16:28:30|DEBUG|"ticket_usecode": caractère variable (100) = "ticket_usecode"
2017-04-25 16:28:30|DEBUG|"pact_id": entier = "pact_id"
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017 -04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|obtention de la configuration pour :input : source(1)
2017-04-25 16:28:30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de source (1)
2017-04-25 16:28:30|DEBUG|trouvé source
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:source(1):local_hostname
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16 : 28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|trouvé d'entrée
2017-04-25 16:28:30 |DEBUG|essai de la source(1)
2017-04-25 16:28:30|DEBUG|source trouvée
2017-04-25 16:28:30|DEBUG|essai local_hostname
2017-04-25 16:28 : 30|DEBUG|trouvé local_hostname
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:source:ssl
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|trouvé d'entrée
2017-04-25 16:28 :30|DEBUG|essai de source
2017-04-25 16:28:30|DEBUG|found source
2017-04-25 16:28:30|DEBUG|essai de SSL
2017-04-25 16:28:30 |DEBUG|obtenir la configuration pour :input:source:certificates_path
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16 : 28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de source
2017-04-25 16:28 : 30|DEBUG|source trouvée
2017-04-25 16:28:30|DEBUG|essai certificates_path
2017-04-25 16:28:30|DEBUG|obtention de la configuration pour :input:source(1):port
2017 -04-25 16:28:30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de source(1)
2017-04-25 16:28:30|DEBUG|source trouvée
2017-04- 25 16:28:30|DEBUG|essai de port
2017-04-25 16:28:30|DEBUG|port trouvé
2017-04-25 16:28:30|DEBUG|obtention de la configuration pour :input:source(1 ):port_range
2017-04-25 16:28:30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de source (1)
2017-04-25 16:28:30|DEBUG|source trouvée
2017-04-25 16:28:30|DEBUG|essayer port_range
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:source(1):
2017-04-25 16:28 :30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG |entrée trouvée
25/04/2017 16:28:30|DEBUG|essai de source(1)
25/04/2017 16:28:30|DEBUG|source trouvée
25/04/2017 16:28:30| DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:max_line_length
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai max_line_length
2017 -04-25 16:28:30|DEBUG|obtenir la configuration pour :input:transform
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de transformation
2017- 04-25 16:28:30|DEBUG|obtenir la configuration pour :input:transform_config
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017 -04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai transform_config
2017-04 -25 16:28:30|LOG|essayer d'exécuter gpfdist -p 8000 -P 8001 -f "/home/gpadmin/extend/test2." -t 30 -V
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Avant d'ouvrir les sockets d'écoute - les sockets d'écoute suivantes sont disponibles :
2017-04- 25 16:28:30|DEBUG|gpfdist : [msg] libevent utilisant : epoll
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Prise IPV6 : [::]:8000
25/04/2017 16:28:30|DEBUG|gpfdist :
25/04/2017 16:28:30|LOG|gpfdist dit : 25/04/2017 16:28:30 11767 INFO Socket IPV4 : 0.0.0.0:8000
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Essayer d'ouvrir le socket d'écoute :
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO IPV6 socket : [::]:8000
2017-04-25 16:28:30|LOG|gpfdist dit : 2017 -04-25 16:28:30 11767 WARN Adresse déjà utilisée (errno = 98), port : 8000
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28 : 30 11767 INFO Essayer d'ouvrir le socket d'écoute :
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Socket IPV4 : 0.0.0.0:8000
2017-04 -25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 WARN Adresse déjà utilisée (errno = 98), port : 8000
2017-04-25 16:28:30| LOG|gpfdist dit :
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Avant d'ouvrir les sockets d'écoute - les sockets d'écoute suivantes sont disponibles :
2017-04- 25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO IPV6 socket : [::]:8001
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Prise IPV4 : 0.0.0.0:8001
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Essayer pour ouvrir la socket d'écoute :
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Prise IPV6 : [::]:8001
2017-04-25 16 :28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Ouverture de la socket d'écoute réussie
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16 : 28:30 11767 INFO Essayer d'ouvrir la socket d'écoute :
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Prise IPV4 : 0.0.0.0:8001
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 WARN Adresse déjà utilisée (errno = 98), port : 8001
2017-04-25 16:28 :30|LOG|gpfdist dit : Servir HTTP sur le port 8001, répertoire /home/gpadmin/extend
2017-04-25 16:28:30|INFO|started gpfdist -p 8000 -P 8001 -f "/home/gpadmin /extension/test2." -t 30 -V
2017-04-25 16:28:30|LOG|gpfdist s'exécute sur le port 8001
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:source:ssl
2017 -04-25 16:28:30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de source
2017-04-25 16:28:30|DEBUG|source trouvée
2017-04-25 16 : 28:30|DEBUG|essayer SSL
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:source(2)
2017-04-25 16:28:30|DEBUG|essayer
2017- 25/04/2017 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de source(2)
2017-04-25 16:28:30|DEBUG|obtention de la configuration pour :preload
2017-04-25 16:28:30|DEBUG|essai
2017- 04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essayer le préchargement
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :output:mode
2017-04-25 16:28:30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai de sortie
2017-04- 25 16:28:30|DEBUG|sortie trouvée
2017-04-25 16:28:30|DEBUG|mode d'essai
2017-04-25 16:28:30|DEBUG|mode trouvé
2017-04-25 16 :28:30|DEBUG|obtenir la configuration pour :input:error_table
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai error_table
2017-04-25 16 : 28:30|DEBUG|trouvé error_table
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:log_errors
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|trouvé d'entrée
2017-04-25 16:28 :30|DEBUG|essayer log_errors
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :sql
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28 :30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essayer SQL
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:format
2017-04-25 16 :28:30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai de saisie
2017-04-25 16:28:30 |DEBUG|entrée trouvée
25/04/2017 16:28:30|DEBUG|format d'essai
25/04/2017 16:28:30|DEBUG|format trouvé
25/04/2017 16:28:30|DEBUG |obtenir la configuration pour :input:delimiter
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30| DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de délimiteur
2017-04-25 16:28:30|DEBUG| délimiteur trouvé
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:delimiter
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30| DÉBOGAGE | trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de délimiteur
2017- 04-25 16:28:30|DEBUG|délimiteur trouvé
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:null_as
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|trouvé d'entrée
2017-04 -25 16:28:30|DEBUG|essayer null_as
2017-04-25 16:28:30|DEBUG|null False
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:escape
2017-04-25 16:28:30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04- 25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essayer d'échapper
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:quote
2017 -04-25 16:28:30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de citation
2017-04-25 16:28:30||A
2017-04-25 16:28 : 30|LOG|killing gpfdist
2017-04-25 16:28:30|DEBUG|gpfdist : 2017-04-25 16:28:30 11767 Signal d'avertissement 15 reçu. gpfdist quitte
2017-04-25 16:28:30|DEBUG|gpfdist : 2017-04-25 16:28:30 11767 INFO -------------------- -------------------
25/04/2017 16:28:30|DEBUG|gpfdist : 25/04/2017 16:28:30 11767 ÉTAT DES INFORMATIONS : total session(s) 0
25/04/2017 16:28:30|DEBUG|gpfdist: session: [
25/04/2017 16:28:30|DEBUG|gpfdist: ]
25/04/2017 16:28 :30|DEBUG|gpfdist : 2017-04-25 16:28:30 11767 INFO ------------------------------- ---
2017-04-25 16:28:30|INFO|lignes insérées = 0
2017-04-25 16:28:30|INFO|lignes mises à jour = 0
2017-04-25 16:28:30|INFOS| erreurs de formatage = 0
25/04/2017 16:28:30|INFO| échoué
其中端口8000是gpfdist的端口.
求大神解释下,
A gpload control file processing error occurred. The configuration must contain gpload:input:quotefor csv formatted data
为什么不匹配,test2.中的分隔符就是'|' 呀!!!!
