怎么优化 Go 协程创建开销避免百万并发瞬间崩溃？

优化 Go 协程创建开销的核心是使用协程池或信号量限制并发数量，适用于突发高流量场景，风险边界是可能增加任务排队延迟。

先说结论：避免百万并发瞬间崩溃的关键不是无限创建协程，而是通过池化复用和并发控制来限制资源消耗。

先定位：使用 pprof 确认内存增长是否来自协程栈堆积。
先做：引入信号量 channel 或第三方协程池库限制最大并发数。
再验证：观察 runtime.NumGoroutine 曲线是否平稳且无 OOM 报错。

快速处理思路

代码层面不需要复杂命令，重点在于修改并发模型。优先使用带缓冲的 channel 作为信号量控制并发上限，或者引入成熟的协程池库如 ants。如果业务逻辑允许，将“每请求一协程”改为“固定数量 worker 处理队列任务”。

为什么会这样

Go 协程虽然轻量，但每个协程初始栈内存和调度结构仍有开销，百万级并发会耗尽内存或导致调度器抖动。Go 官方文档指出协程栈初始大小通常为 2KB，但会随需求增长，百万级协程仅栈内存就可能占用数 GB 空间。此外，操作系统对线程数和文件描述符有限制，过多协程会导致上下文切换频繁，降低 CPU 有效利用率。

分步处理

第一步：添加信号量限制并发数。使用带缓冲 channel 控制同时运行的协程数量，避免瞬间创建过多。

sem := make(chan struct{}, 10000)
for i := 0; i < totalTasks; i++ {
    sem <- struct{}{}
    go func() {
        defer func() { <-sem }()
        // 执行任务
    }()
}

第二步：使用协程池复用协程。引入经过生产验证的库如 panjf2000/ants，配置最大协程数和水位线。

pool, _ := ants.NewPool(10000)
for i := 0; i < totalTasks; i++ {
    pool.Submit(func() { // 执行任务 })
}
defer pool.Release()

第三步：设置超时和取消机制。每个协程必须响应 context.Context 取消信号，防止任务堆积导致协程无法退出。

怎么验证是否生效

通过 Go 自带 pprof 工具查看协程数量和内存分布。运行 go tool pprof -http=:8080 http://localhost:6060/debug/pprof/heap 查看 heap 使用量。调用 runtime.NumGoroutine() 打印当前协程数，观察在高负载下该数值是否稳定在设定阈值附近。检查应用日志，确认没有 panic: runtime error: invalid memory address or nil pointer dereference 或 out of memory 错误。

常见坑

协程池大小设置过大失去保护意义，设置过小导致任务积压超时。忘记在协程结束时释放信号量会导致死锁，所有后续任务卡住。在协程池内部再次创建无限制协程会导致嵌套爆炸，池化失效。忽略 context 取消会导致 goroutine 泄漏，长期运行后内存缓慢增长直至崩溃。

常见问题

Go 协程可以无限创建吗？

不可以，受限于机器内存和操作系统资源限制。

使用 ants 库会影响性能吗？

会有少量调度开销，但能避免 OOM 崩溃，整体稳定性提升。

调整 GOMAXPROCS 能解决协程过多问题吗？

不能，GOMAXPROCS 控制并行度，不限制协程创建数量。

参考来源

Go Official Documentation - runtime package, https://pkg.go.dev/runtime
Go Blog - The Go Scheduler, https://go.dev/blog/scheduler