首先，确保你有合法授权访问内网数据库。使用VPN或SSH隧道连接内网，例如ssh -D 1080 user@bastionhost，然后在浏览器或工具中设置SOCKS代理。爬取时用Python的requests库结合sqlalchemy连接数据库，代码示例：import sqlalchemy as sa; engine = sa.create_engine('mysql+pymysql://user:pass@host/db?proxy=true'); result = engine.execute('SELECT * FROM table LIMIT 100').fetchall()。分批查询避免负载过高，每批100条记录，添加延时time.sleep(1)。监控日志，确保不触发警报。

内网环境配置

在内网爬取数据库前，必须配置代理通道。常用方法是通过堡垒机 bastion host 进行跳板。命令：ssh -L 3306:dbhost:3306 user@bastion。然后本地连接 localhost:3306。安全起见，使用密钥认证而非密码，并限制IP白名单。

Python爬取脚本

完整脚本：from sqlalchemy import create_engine import pandas as pd import time engine = create_engine('postgresql://user:pass@proxyhost/db') for i in range(0,10000,1000): df = pd.read_sql('SELECT * FROM users LIMIT 1000 OFFSET {}'.format(i), engine) df.to_csv('data_{}.csv'.format(i//1000)) time.sleep(2) 这样分批导出数据到CSV，避免内存溢出。

常见问题：连接超时

如果连接内网数据库超时，检查防火墙规则，确保端口3306或5432开放。使用ping测试连通性，或telnet host 3306。还可能是MTU问题，调整ssh隧道MTU：ssh -o TunnelMTU=1400。

避免被检测

内网爬取易被IDS检测到高频查询。解决方案：随机延时random.uniform(1,5)，伪装User-Agent，使用分布式代理轮询多个跳板机。查询时加WHERE条件模拟正常业务查询。

数据脱敏与加密

爬取后立即加密存储：用gpg加密文件gpg -c data.csv。传输时用scp：scp -o ProxyJump=bastion data.csv user@server。删除本地临时文件shred -u temp.csv。

工具推荐

用Navicat Premium设置SSH隧道连接内网DB，一键导出。或DBeaver免费版，支持代理。自动化用Airflow调度任务，每天定时爬取增量数据WHERE updated_at > '2023-01-01'。

FAQ
Q: 内网数据库爬取会被发现吗？
A: 如果不控制频率和伪装查询，是很容易被日志系统发现的，分批慢速爬取可降低风险。
Q: 没有VPN怎么连内网？
A: 用SSH端口转发或socat工具创建隧道。
Q: 爬取大数据量怎么优化？
A: 用游标分页或增量同步，避免全表扫描。
Q: 数据库有权限限制怎么办？
A: 申请最小权限账号，只读特定表。