Django 일괄 처리로 XML 데이터 가져오기

Django 백그라운드 일괄 가져오기 데이터

프로덕션 환경에서는 직원 번호나 계정 및 비밀번호는 백엔드로 가져오기 때문에 레코드를 하나씩 추가하기 위해 백엔드로 이동하는 것은 권장되지 않습니다.

xml에서 svn 레코드를 일괄 가져오는 방법

1단계:

데이터 모델 구축

@python_2_unicode_compatible
class SVNLog(models.Model):

  vision = models.IntegerField(verbose_name=u"修订版本", blank=False, null=False,)
  author = models.CharField(verbose_name=u"作者", max_length=60, blank=True, null=True)
  date = models.DateTimeField(verbose_name=u"修订时间",null=True )
  msg = models.TextField(verbose_name=u"注释消息", blank=False, null=False, default=u"")
  paths = models.TextField(verbose_name=u"影响的文件", blank=False, null=False, default=u"")
  created_time = models.DateTimeField(verbose_name=u"创建时间", auto_now_add=True, )
  update_time = models.DateTimeField(verbose_name=u"修改时间", auto_now=True, )

  class Meta:
    ordering = ['revision']

  def __str__(self):
    return u'r%s' % (self.revision or u"", )

이제 모델이 구축되었으니, xml 파일 모델을 허용하도록 빌드해 보겠습니다

@python_2_unicode_compatible
class ImportLogFile(models.Model):

  LogFile = models.FileField(upload_to='LogFile')
  FileName = models.CharField(max_length=50, verbose_name=u'文件名')

  class Meta:
    ordering = ['FileName']

  def __str__(self):
    return self.FileName

좋아, 위 코드에서는 데이터와 업로드된 파일 모델을 정의했습니다

데이터베이스 동기화

python manage.py makemigrations
python manage.py migrate

그런 다음 admin.py를 수정하여 다음에서 파일을 업로드할 수 있습니다.

class ImportLogAdmin(admin.ModelAdmin):

  list_display = ('LogFile','FileName',)
  list_filter = ['FileName',]

  def save_model(self, request, obj, form, change):

    re = super(YDImportLogAdmin,self).save_model(request, obj, form, change)
    update_svn_log(self, request, obj, change)
    return re

위 코드에서 save_model에 주목하세요. 이것이 바로 ModelAdmin의 save_model 메소드를 다시 작성하는 이유입니다. 파일을 업로드하고 파일을 읽고, 파일을 구문 분석하고, 데이터베이스를 작동해야 합니다. 디버그를 활성화할 수 있습니다. 파일을 업로드할 때 반환 매개변수 obj에는 파일 업로드 경로도 포함됩니다. 파일을 구문 분석하는 다음 단계의 핵심입니다. 파일과 데이터베이스를 작동하는 데 사용하는 도구 클래스를 작동하기 위해 이 앱 폴더에 새 utils.py를 만듭니다.
첫 번째 붙여넣기 테스트하려는 xml 파일

qwert2016-09-27T07:16:37.396449Z/aaa/README20160927 151630VisualSVN Server2016-09-20T05:03:12.861315Z/branches/tags/trunkhello word

출력 결과 형식

r2 | qwer | 2016-09-27 15:16:37 +0800 (二, 27 9 2016) | 1 line
Changed paths:
  A /xxx/README

20160927 151630
------------------------------------------------------------------------
r1 | VisualSVN Server | 2016-09-20 13:03:12 +0800 (二, 20 9 2016) | 1 line
Changed paths:
  A /branches
  A /tags
  A /trunk

Initial structure.
from .models import SVNLog
import xmltodict
def update_svn_log(self, request, obj, change):

  headers = ['r','a','d','m','p']
  filepath = obj.LogFile.path
  xmlfile = xmltodict.parse(open(filepath, 'r'))
  xml_logentry = xml.get('log').get('logentry')
  info_list = []
  pathlist = []
  sql_insert_list = []
  sql_update_list = []
  for j in xml:
    data_dict = {}
    # get path
    paths = j.get('paths').get('path')
    if isinstance(paths,list):
      for path in paths:
        action = path.get('@action')
        pathtext = path.get('#text')
        pathtext = action + ' ' + pathtext
        pathlist.append(pathtext)
        
      _filelist = u'\n'.join(pathlist)
      _paths = u"Changed paths:\n {}".format(_filelist)
      print _paths
    else:
      _filelist = paths.get('@action') + ' ' + paths.get('#text')
      _paths = u"Changed paths:\n {}".format(_filelist)
      print _paths
    # get revision
    vision = j.get('@vision')
    # get auth
    author = j.get('author')
    #get date
    date = j.get('date')
    #get msg
    msg = j.get('msg')

    data_dict[headers[0]] = int(vision)
    data_dict[headers[1]] = author
    data_dict[headers[2]] = date
    data_dict[headers[3]] = msg
    data_dict[headers[4]] = _paths
    info_list.append(data_dict)

  _svnlog = SVNLog.objects.filter().order_by('-vision').first()
  _last_version = _svnlog.vision if _svnlog else 0

  for value in info_list:
    vision = value['r']
    author = value['a']
    date = value['d']
    msg = value['m']
    paths = value['p']
    print vision,author
    _svnlog = YDSVNLog.objects.filter().order_by('-revision').first()
    _last_version = _svnlog.revision if _svnlog else 0
    if vision > _last_version:
      sql_insert_list.append(SVNLog(revision=revision, author=author, date=date, msg = msg, paths = paths))
    else:
      sql_update_list.append(SVNLog(revision=revision, author=author, date=date, msg = msg, paths = paths))

  SVNLog.objects.bulk_create(sql_insert_list)
  SVNLog.objects.bulk_create(sql_update_list)

우리가 xml을 구문 분석하는 데 사용하는 타사 라이브러리 xmltodict는 콘텐츠를 효율적인 orderdict 유형, 즉 순차 사전으로 구문 분석합니다.

이 xml에서 더 복잡한 것은 경로 중 경로입니다. 왜냐하면 이 xml에는 두 개의 경로가 포함되어 있기 때문입니다. 첫 번째 요소의 경로에는 A 경로만 포함되어 있으므로 두 번째 요소의 경로에는 세 개의 경로가 포함되어 있으므로

paths = j.get('paths').get('path')
if isinstance(paths,list):
  pass

우리는 이 경로를 목록형으로 판단합니다. 그렇다면 목록으로 처리하겠습니다. 그렇지 않으면 획득한 후 결과를 처리합니다. 출력 결과 형식을 저장하고 다른 콘텐츠를 얻습니다.

revision = j.get('@vision')
# get auth
author = j.get('author')
#get date
date = j.get('date')
#get msg
msg = j.get('msg')

마지막으로 얻은 요소를 사전에 저장합니다.

현재 버전 번호와 버전을 판단합니다.

원본이 작으면 업데이트 작업을 수행하고 그 반대의 경우도 마찬가지입니다.

마지막으로 대량_create를 사용하여 데이터베이스를 작동하므로 낭비가 방지됩니다. 루프에서 매번 데이터베이스 작업으로 인해 발생하는 리소스