将 Python 原生 for 循环替换为 NumPy 数组运算或 Pandas 向量化方法，是解决数据分析遍历速度慢的首选方案。该方案适用于数值计算和布尔筛选场景，但在数据量极大时需警惕内存溢出风险。

快速处理思路

无需复杂配置，直接修改代码逻辑即可实现优化。

# 慢速循环
result = []
for i in data:
    result.append(i * 2)

# 快速向量化
import numpy as np
arr = np.array(data)
result = arr * 2

为什么会这样

Python 循环慢的根本原因是解释器 overhead 和动态类型检查，而向量化操作调用预编译的 C 代码。

Python 原生列表存储的是对象指针，每次循环都需要进行类型检查和内存分配。NumPy 和 Pandas 的向量化操作将数据存储在连续内存块中，底层使用 C 或 Fortran 编写的函数一次性处理整个数组，避免了逐元素的 Python 字节码执行开销。

分步处理

按以下步骤将循环逻辑重构为向量化操作。

步骤 1：确认数据结构

检查数据是否为 Python list 或 Pandas Series。若是 list，优先转换为 NumPy array。

import numpy as np
data_array = np.asarray(data_list)

步骤 2：替换算术运算

直接使用运算符作用于整个数组，而非遍历元素。

# 避免
for i in range(len(arr)): arr[i] += 1
# 推荐
arr += 1

步骤 3：替换条件判断

使用布尔索引或 np.where 替代循环中的 if 判断。

# 避免
for i in range(len(arr)):
    if arr[i] > 0: arr[i] = 1
# 推荐
arr[arr > 0] = 1

步骤 4：处理 Pandas 列

直接对 DataFrame 列进行运算，避免使用 iterrows 或 apply。

# 避免
df['new'] = df['old'].apply(lambda x: x * 2)
# 推荐
df['new'] = df['old'] * 2

怎么验证是否生效

使用 Python 内置 timeit 模块或 Jupyter magic 命令测量耗时。

import timeit
timeit.timeit('loop_func()', number=1000)
timeit.timeit('vector_func()', number=1000)

若向量化版本的耗时显著低于循环版本，且结果数据一致，则优化生效。

常见坑

• 内存溢出：向量化操作需要一次性加载数据到内存，数据量过大可能导致 MemoryError。
• apply 误区：Pandas 的 apply 方法本质仍是循环，除非使用 numba 加速，否则不算严格向量化。
• 数据类型：确保数组 dtype 为数值型，对象类型数组无法享受向量化加速。

常见问题

Pandas 的 apply 方法是向量化操作吗

不是。apply 方法通常在底层仍然遍历元素，性能优于原生 for 循环但远低于真正的向量化运算。

数据量多大时不建议使用向量化

当数据大小接近系统可用内存上限时，不建议使用向量化，应分块处理或使用生成器。

iterrows 和 itertuples 哪个更快

itertuples 更快。iterrows 返回 Series 对象开销大，itertuples 返回命名元组开销较小，但均不如向量化。