将 JSON 数据转储到 Django 模型：使用 Django 设置和命令

当您使用 Django 或使用 Django Rest Framework (DRF) 的 REST API 完成网站的第一个版本时，数据需求变得最为重要。对于类似的问题，我写了上一篇文章，其中讨论了通过直接插入 SQLite 数据库和表将 JSON 数据转储到 Django 模型中的直接方法。然而，我也提到 Django 有 loaddata、dumpdata 和用于类似问题的固定装置，但需要对框架有更多的了解。

今天，我将回顾一下学习曲线，并讨论如何将普通 JSON 数据转换为固定装置，然后使用 loaddata 将 JSON 数据转储到特定模型中。同样，如果您有一些模型数据（可以通过管理页面等添加），那么如何将其转储为固定装置以与其他模型一起使用或在其他项目中使用。

上一篇文章分为两部分：第一部分是数据转储所需的正常设置，第二部分是关于将 JSON 数据转储到模型中的 python 脚本。因此，请保持文章简短，在本文中，我将从第二部分开始，您可以按照上一篇文章的第一部分来阅读本文。因此，假设您有一个图书应用程序，并且其中 models.py 中有 Book 模型，类似地，API 端点已准备就绪，例如（上一篇文章的 Github 存储库）：
http://127.0.0.1:8000/api/books/1

或者您只是想将数据加载到基于 Django 的网站的 Book 模型。您可以关注以下 git 存储库中的代码。
JSON 数据转储到模型

给定两个存储库，您可以使用任何人来关注这里的文章，您只需要以下内容：

1. 一个正在运行的 Django 项目，具有带有或不带有 API 功能的 Book 模型
2. 一个 json 文件，其中包含根据 Book 模型的书籍信息。

示例 1：book/models.py 中的书籍模型

from django.db import models

class Book(models.Model):
    title = models.CharField(max_length=200)
    author = models.CharField(max_length=100)    
    isbn = models.CharField(max_length=13, unique=True)
    pages = models.PositiveIntegerField()   
    language = models.CharField(max_length=30)

    def __str__(self):
        return self.title

books.json

[
  {
    "title": "Example Book 1",
    "author": "John Doe",
    "isbn": "1234567890123",
    "pages": 350,
    "language": "English"
  },
  {
    "title": "Example Book 2",
    "author": "Kumar Ajit",
    "isbn": "9876543210987",
    "pages": 280,
    "language": "Hindi"
  }
]

示例 2：上一篇文章中的 Book 模型

from django.db import models

class Book(models.Model):
    title = models.CharField(max_length=200)
    author = models.CharField(max_length=100)
    price = models.DecimalField(max_digits=6, decimal_places=2)

    def __str__(self):
        return self.title

您可以在此处找到 data.json 文件。

数据转储到模型

我们有一个正在运行的 Django 项目，其中包含一个模型 Book 和一个包含书籍信息的额外 JSON 文件。那么，现在的问题是什么？
我们希望将 JSON 数据转储到模型中，以便可以与 Django 网站一起使用（例如将数据传递到模板以显示给用户）或通过 API 向前端提供数据。

Django 有 loaddata、fixtures 和 dumpdata，以及管理页面（您可以注册模型和插入数据）和 shell（使用 SQL 或 ORM 直接操作数据库）。然而，如果想要合并大数据或想要多次执行（通常是开发和测试期间的用例），通过固定装置加载数据似乎更好。

让我们首先解释这些工具，然后深入研究 python 脚本来实现数据转储任务。

加载数据

$django-admin loaddata <fixture label>

固定装置

fixture 是包含数据库序列化内容的文件集合。每个固定装置都有一个唯一的名称，并且组成固定装置的文件可以分布在多个应用程序中的多个目录中。 [来源]

让我们跳到文章的后续部分，看看书籍赛程。

[
  {
    "model": "book.book",
    "pk": 40,
    "fields": {
      "title": "Example Book 1",
      "author": "John Doe",
      "isbn": "123456734890123",
      "pages": 350,
      "language": "English"
    }
  },
  {
    "model": "book.book",
    "pk": 41,
    "fields": {
      "title": "Example Book 2",
      "author": "Kumar Ajit",
      "isbn": "9876543455210987",
      "pages": 280,
      "language": "Hindi"
    }
  }
]

如果你查看过fixture文件，你一定会发现它只是另一个带有更多键值对的JSON文件，而这些是Django模型/表的元数据。所以，是的，你是对的，我们的目标是将 books.json 格式转换为固定格式，以便 Django 管理工具能够识别它并将数据转储到合适的表中。

现在，要创建夹具，您可以有两种情况：1）模型中有数据，并且您想要创建夹具以供将来使用或测试等。
2) 你在模型/表中没有数据，但在外部源中有数据，如 json、csv 或任何其他格式，并且你想通过前面讨论的命令 loaddata 在 Django 中加载该数据。( 这文章是关于这种情况的，但在最后，我们将使用 dumpdata 来比较手动和 dumpdata 输出。）

在使用Python脚本将普通json文件转换为fixture格式之前，让我们先了解一下Django如何查找fixture文件以及如何使用它。

共有三个兴趣点和顺序[来源]：

1. 在每个已安装应用程序的固定目录中：这类似于 Django 项目内组织的其他目录（例如模板或媒体或静态文件夹）的建议。但是，您也可以提供如下所述的直接路径。

2. FIXTURE_DIRS 设置中列出的任何目录

3. In the literal path named by the fixture: Works with smaller project or app but it is better to have a proper recommended location for fixtures so it will easy to use with testing or debugging etc.

Note:One major benefit of using fixture is to apply and use compression on fixtures.

Dumpdata

This is django-admin command to output all data of table to standard output.

Note 1: Outputs to standard output all data in the database associated with the named application(s).
Note 2 : The output of dumpdata can be used as input for loaddata.(as fixture )

django-admin dumpdata [app_label[.ModelName] 

you can read more from this link.

Python script from simple json to Django Fixtures.

from django.apps import apps
import django
import os
import json


# Set the Django settings module
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'dataloading.settings')
django.setup()

# get all models
models = apps.get_models()

# Get the model names
for model in models:
    print(model)
    print(model.__name__)

# Choose Model to create fixtures
from book.models import Book 

# Get all field names
field_names = [field.name for field in Book._meta.get_fields()]
fixture_name = "books.json"

#read the data file json, csv etc.

with open('data.json','r') as fp:
    books= json.load(fp)


books_fixture =[]
# get the pk value from model , if there is data
pk=1 
# iterate all the books in json file
for book in books:
    book_fixture={}
    # Add model name (most important for fixture)
    book_fixture['model']= 'book.book'
    pk+=1
    book_fixture['pk']=pk
    # assuming the data has same fields name as model else mapping is required
    book_fixture['fields']=book
    books_fixture.append(book_fixture)
# Writing converted Json as file for fixture

with open(fixture_name,'w') as fp:
    json.dump(books_fixture,fp)

# print(field_names)
# if __name__ =='__main__' :
    #create_book()  

Once your fixture is created as books.json. It time to move it /copy to suitable location (book/fixtures/book/) so that Django manager can find it easily and then run loaddata command to dump all data to Book model.

$mv books.json book/fixtures/book/
$python manage.py loaddata book/fixtures/book/books.json

You can also use similar script to directly write data to model sing .save() method. Below is create_book() method that can be use to insert one or more (looping) data records into Book model.

# def create_book():
#     book = Book(
#         title="This is from script",
#         author ="ajit",
#         isbn = "2024-0809",
#         pages=300,
#         language ='English'
#     )
#     book.save()
#     print(f'Book {book.title} by {book.author} created.')

You can also look into Dumpscript from Django-extensions for similar task.

I hope it will be helpful.

Note: The article in not properly proofread and formatted because of time constraint. So, please use it carefully and leave comments below for any errors, dobuts or questions. I will reply and edit the article overtime.

以上是将 JSON 数据转储到 Django 模型：使用 Django 设置和命令的详细内容。更多信息请关注PHP中文网其他相关文章！