本文详解如何在 Django 中安全、高效地将 JSON 文件数据批量写入 SQL 数据库，重点纠正单条保存导致的数据丢失问题，并推荐使用 bulk_create() 实现一次性高性能插入。
本文详解如何在 django 中安全、高效地将 json 文件数据批量写入 sql 数据库，重点纠正单条保存导致的数据丢失问题，并推荐使用 `bulk_create()` 实现一次性高性能插入。
在 Django Web 开发中，常需将外部 JSON 数据（如分析报告、API 响应或本地配置文件）持久化到数据库。但初学者易犯一个典型错误：在循环中逐条创建模型实例，却仅在循环外调用 .save() —— 这会导致仅有最后一个 JSON 条目被写入数据库，其余全部丢失。
以下为修正后的标准做法，核心是使用 Django 提供的 .bulk_create() 方法：
from django.shortcuts import render
import json
from .models import MyModel
import os
def display(request):
# 安全构建 JSON 文件路径（推荐使用 pathlib 替代 os.path 拼接）
json_file_path = os.path.join(
os.path.dirname(__file__), '..', '..', 'jsondata.json'
)
try:
with open(json_file_path, 'r', encoding='utf-8') as f:
data = json.load(f)
# ✅ 正确：列表推导式批量构建模型实例（不触发数据库操作）
my_models = [
MyModel(
end_year=item.get('end_year'),
intensity=item.get('intensity'),
sector=item.get('sector'),
topic=item.get('topic'),
insight=item.get('insight'),
url=item.get('url'),
region=item.get('region'),
start_year=item.get('start_year'),
impact=item.get('impact'),
added=item.get('added'),
published=item.get('published'),
country=item.get('country'),
relevance=item.get('relevance'),
pestle=item.get('pestle'),
source=item.get('source'),
title=item.get('title'),
likelihood=item.get('likelihood'),
)
for item in data
]
# ✅ 一次性批量写入数据库（性能提升显著，尤其对千级以上数据）
MyModel.objects.bulk_create(my_models, batch_size=1000)
except FileNotFoundError:
data = []
print(f"Warning: JSON file not found at {json_file_path}")
except json.JSONDecodeError as e:
print(f"Invalid JSON format: {e}")
data = []
except Exception as e:
print(f"Unexpected error during bulk import: {e}")
data = []
return render(request, 'display.html', {'data': data})
✅ 关键改进说明：
- 避免单条保存陷阱：原代码中 my_model_instance.save() 在 for 循环外执行，仅保存最后一次迭代对象；新方案通过列表收集全部实例后统一提交。
- 性能飞跃：.bulk_create() 将 N 条 INSERT 合并为 1–2 条 SQL 语句（取决于 batch_size），相比 N 次 .save() 可提速 10–100 倍。
- 健壮性增强：添加 item.get(key) 防止 KeyError；显式指定 encoding='utf-8' 避免中文乱码；补充多层异常捕获。
-
生产建议：
- 对超大 JSON（>10MB），改用流式解析（如 ijson）或分批处理；
- 在视图中执行大批量导入可能阻塞请求，建议迁移至管理命令（python manage.py load_json）或 Celery 异步任务；
- 若模型含 auto_now_add/auto_now 字段，需显式传入 created_at=timezone.now() 等值（bulk_create 不自动触发这些逻辑）。
掌握此模式，即可在 Django 项目中可靠、高效地完成结构化数据迁移任务。
