Python高效查询数据库表技巧，网友推荐：实用性强，代码简洁易懂

Python高效查询数据库表的核心技巧是使用连接池、预处理语句、分页查询和惰性加载，配合SQLAlchemy等ORM库或psycopg2等原生驱动，代码简洁且大幅提升性能。

为什么你的数据库查询慢？

很多朋友在用Python查数据库时，感觉速度提不上来，明明数据量不大却要等好几秒。这通常是因为每次查询都新建连接、一次性抓取所有数据、或者SQL语句没优化好。比如，你可能会用循环一条条查，或者不管用不用都把整张表读进内存，这些习惯都会拖慢程序。

四大实用技巧，代码一看就会

下面这几个方法是网友实践中总结出来的，改动不大但效果立竿见影。

1. 使用连接池，避免重复开销

每次查数据库都新建连接非常耗时。用连接池可以复用连接，特别适合Web应用。比如用流行的DBUtils库，几行代码就搞定。

示例代码：

import psycopg2
from DBUtils.PooledDB import PooledDB

pool = PooledDB(
    creator=psycopg2,
    host='localhost',
    database='test',
    user='user',
    password='pass',
    mincached=2,
    maxcached=5
)
conn = pool.connection()
cur = conn.cursor()
cur.execute("SELECT * FROM users WHERE age>%s", (25,))
print(cur.fetchall())
cur.close()
conn.close()  # 实际是放回连接池

这样，连接池会管理多个连接，随用随取，不用反复创建销毁。

2. 预处理语句，安全又快速

直接用字符串拼接SQL容易出错且慢。预处理语句（参数化查询）能让数据库预先编译SQL，提高效率，还能防SQL注入。

示例代码：

import sqlite3

conn = sqlite3.connect('example.db')
cur = conn.cursor()
# 推荐：用问号占位
cur.execute("SELECT name FROM products WHERE price>? AND stock>?", (100, 0))
# 或者用命名占位符
cur.execute("SELECT name FROM products WHERE price>:p", {"p": 100})
rows = cur.fetchall()
for row in rows:
    print(row[0])

记住，永远不要把变量直接拼进SQL字符串里。

3. 只取需要的数据，别一股脑全拿

如果表里有10万条数据，你一次性全查出来，内存可能就爆了。好的做法是分页查，或者用生成器一条条处理。

示例代码（分页查询）：

def fetch_users_by_page(page=1, per_page=100):
    offset = (page - 1) * per_page
    with conn.cursor() as cur:
        cur.execute("SELECT id, name FROM users ORDER BY id LIMIT %s OFFSET %s", (per_page, offset))
        return cur.fetchall()

# 分批处理所有用户
page = 1
while True:
    users = fetch_users_by_page(page)
    if not users:
        break
    for user in users:
        process_user(user)  # 你的处理函数
    page += 1

或者用fetchmany一次取一批，内存压力小很多。

4. 用ORM的惰性加载和关系优化

如果你用SQLAlchemy这类ORM，默认的查询可能不是最优的。学会用lazy='dynamic'、joinedload等可以避免N+1查询问题。

示例代码：

from sqlalchemy.orm import sessionmaker, joinedload
from models import User, Order

Session = sessionmaker(bind=engine)
session = Session()
# 不好的方式：会为每个用户单独发查询查订单
# users = session.query(User).all()
# for u in users:
#     print(u.orders)
# 好的方式：一次连接查出来
users = session.query(User).options(joinedload(User.orders)).all()
for u in users:
    print(u.orders)  # 这里不会再触发新查询

这样，关联数据提前加载好了，程序不用反复查数据库。

简单总结一下

想快，就记住四点：连接池省时间、预处理语句提速度、分批取数据省内存、ORM配置要优化。这些技巧代码量小，改起来容易，效果却很明显。

FAQ

问：这些技巧对哪种数据库最有效？

答：这里的方法对常见的关系型数据库都有效，比如MySQL、PostgreSQL、SQLite。连接池、预处理、分页这些是通用优化。不同数据库的驱动可能有点区别，但思想一样。

问：用ORM会不会比直接写SQL慢很多？

答：ORM通常有点额外开销，但对于大多数应用，这点开销可以忽略。而且用好了ORM（比如上面的joinedload），它能帮你写出更高效的查询，避免你手动写错。在开发速度和维护性上ORM优势很大。

问：除了这些，还有什么要注意的？

答：记得给经常查询的字段加索引，这是最基本的。定期分析慢查询日志，看看哪些SQL最耗时。另外，根据情况考虑用缓存（比如Redis），把一些不常变的结果存起来，不用每次都查数据库。

引用来源：本文技巧综合自Stack Overflow、Real Python教程以及SQLAlchemy官方文档中的常见实践推荐。