Django 批量插入慢,先要分清是 Python 层逐条 save() / create() 的开销,还是数据库端的往返次数、索引维护和日志写入成本。前者换成 bulk_create 通常能看到明显变化;后者还要看批次大小、目标表索引和外键约束。下面按“确认场景—处理顺序—验证—边界”给出能直接对照执行的动作,不假设任何具体版本的性能数字。
适用场景:需要往 Django 模型表写入成百上千行,当前用 for 循环调用save()或create()。操作方向:先量化语句条数,改用bulk_create分批写入并包在transaction.atomic()里,再核对信号、默认值和冲突策略。验证方式:对比写入前后行数、实际 SQL 条数、同一批数据的耗时和主键是否回填。边界:bulk_create不走save()、不发模型信号,主键回填和ignore_conflicts的效果依赖数据库后端与 Django 版本,需要结合自己的环境确认后再用于关键链路。
先确认当前场景和目标
不是所有“批量插入慢”都值得改代码。先用下面几个问题把场景定下来,判断错了方向,改完也看不出差别。
- 行数规模:一次写几十行还是几万行。几十行的场景里,单条插入慢主要是网络往返和事务开销,分批收益有限;几万行的场景里,索引维护和日志写入往往比 Python 循环更值得关注。
- 数据来源:是已经构造好的模型实例列表,还是来自文件、接口的原始字典。后者先用
Model(**row)或bulk_create的实例列表统一构造,避免在循环里反复查外键。 - 现有代码路径:是否依赖
post_save信号做缓存刷新、搜索索引更新或审计日志。若依赖,直接换bulk_create会静默跳过这些逻辑,要先决定这些副作用怎么补。 - 主键是否需要立即使用:后续逻辑如果要用到自增 id(比如再插关联表),必须确认当前数据库后端是否支持批量插入后回填主键。
- 失败容忍度:整批要么全成功,还是允许跳过重复行。前者用事务加普通插入,后者才考虑
ignore_conflicts这类策略。 - 表结构:目标表上有多少索引、唯一约束和外键。写入期间这些约束都要逐行校验,是批量插入的主要成本来源之一。
把这些信息确认清楚,再往下走处理步骤;如果发现写的是临时表、数据量只有几百行,先别重构,优先确认是不是在循环里做了额外查询。
按这个顺序处理
第一步,量化现状。在 Django shell 或管理命令里把 DEBUG 打开,记录写入前后的 SQL 条数,而不是凭感觉判断:
import time
from django.db import connection, reset_queries
from django.conf import settings
settings.DEBUG = True
reset_queries()
start = time.perf_counter()
# 调用现有的写入函数
elapsed = time.perf_counter() - start
print('语句数:', len(connection.queries))
print('耗时:', elapsed)
如果语句数接近行数,说明瓶颈在逐条往返;如果语句数只有几条但耗时仍然很高,那要往索引、触发器、单条语句体积上查。
第二步,改用 bulk_create 并显式指定 batch_size。不要依赖默认值,批次大小要结合数据库的参数上限来定:MySQL 受 max_allowed_packet 限制,SQLite 有绑定变量数量上限,PostgreSQL 单条语句也有参数数量上限。字段越多,单批能放的行数越少。可以从较小值起步,逐步往上试:
from django.db import transaction
from myapp.models import Record
def save_rows(rows, batch_size=500, chunk=2000):
objs = [Record(**row) for row in rows]
with transaction.atomic():
for i in range(0, len(objs), chunk):
Record.objects.bulk_create(
objs[i:i + chunk],
batch_size=batch_size,
ignore_conflicts=False,
)
这里的 chunk 控制每次提交的边界,batch_size 控制单条 SQL 里的行数。两者分开设置,便于在不改变事务范围的前提下调整单语句体积。

第三步,把循环里的查询搬到循环外。常见写法是每行都去 get() 一次外键或做一次存在性判断,这会抵消批量插入的收益。先一次性把需要的 id 取成映射表:
existing = dict(Record.objects.values_list('code', 'id'))
# 后续只做字典查找,不再逐行查询
第四步,处理冲突策略。如果确实存在重复键且允许跳过,可用 ignore_conflicts=True;较新的 Django 版本还提供 update_conflicts 配合 unique_fields、update_fields 做“存在则更新”。使用前先确认本环境的 Django 版本和数据库后端是否支持这两个参数,不支持时回退到“先查再分批插入或更新”的写法。
第五步,按需调整数据库侧条件。大批量灌数据时,可以在维护窗口内评估是否需要临时减少索引或延后建索引,但这属于带风险的运维动作,要在能回滚的前提下做,并且只适用于可接受短时间不可查的场景。
改完后怎么验证
验证要同时看“数量对不对”和“路径对不对”,只看耗时容易漏掉副作用。
- 行数核对:写入前后各执行一次
Record.objects.count(),确认增量等于预期行数;有过滤条件的表按条件计数。 - 语句条数:重复第一步的统计,预期语句数从“接近行数”降到“接近批次数”。如果没降,说明改动没走到批量分支。
- 耗时对比:用同一批数据、同一台机器跑多次取中位数,不要拿小样本一次结果直接比。
- 主键回填:写入后检查
objs[0].pk是否为None。为None说明当前后端没有回填主键,后续拼接关联数据不能用内存中的实例继续操作。 - 字段正确性:抽样取出若干行,比对默认值、时间字段、
null字段和外键 id 是否符合预期,重点看 Python 侧默认值和数据库侧默认值是否被正确写入。 - 副作用检查:如果原来依赖信号做缓存或索引更新,确认新的写入路径后有对应的补偿逻辑,并且只执行一次。
预期信号是:语句数明显下降、行数一致、抽样字段正确、耗时稳定下降;如果语句数下降了但耗时没变,问题多半在约束校验或单语句过大,回到批次大小上调整。
容易忽略的边界
bulk_create不调用模型的save(),也不触发pre_save、post_save信号,clean()也不会执行。任何依赖这些钩子的业务逻辑都要显式补上。- 多表继承的子类不能用
bulk_create写父表数据,这类模型仍要回到逐条保存,或者拆成按父表、子表分别批量写入。 ignore_conflicts=True会吞掉该批次的约束错误,不只重复键,可能把类型或长度问题一起静默丢掉。数据质量要求高时改用显式去重再插入。- 批次过大可能触发数据库的包大小或参数数量限制,表现为报错而不是变慢。回退办法是减小
batch_size,不建议为了速度去改数据库全局参数。 - 分批提交会牺牲整批原子性:中途失败时前面已提交的数据会留下。若业务要求全有或全无,把
chunk设为与总行数一致,代价是更长的事务和更大的锁范围。 - 长事务在写量大的表上可能造成锁等待和复制延迟,写入窗口最好避开高峰,并在写入后确认下游读取没有滞后。
- 换实现前保留原写入函数的入口,方便在批量路径出现问题时快速回退,不要直接删掉逐条写入的代码路径。