ELK 栈从 5.x 迁移到 7.x 时，数据 reindex 操作该怎么做？

ELK 栈从 5.x 升级到 7.x 属于跨大版本迁移，由于 7.x 彻底移除了文档类型（Type）且快照恢复通常不支持跨越超过一个大版本，最稳妥的数据迁移方式是使用 Reindex API 将数据重新索引到符合 7.x 规范的新索引中。

先说结论：跨大版本升级必须重建索引，Reindex 是官方支持且灵活度最高的方案。

适合：5.x 到 7.x 跨版本迁移、需要修改 Mapping 字段类型、跨集群数据合并。
前置：必须配置 reindex.remote.whitelist 白名单，否则远程连接会被拒绝。
建议：生产环境配合索引别名（Alias）实现平滑切换，避免业务中断。

迁移背景与兼容性说明

Elasticsearch 在 6.x 版本开始限制每个索引只能有一个类型，到了 7.x 版本则完全移除了文档类型（Type）概念。如果直接使用快照恢复，通常要求版本差异不能超过一个主版本，例如 6.x 快照可恢复到 7.x，但 5.x 直接恢复到 7.x 存在兼容性风险。此外，索引创建后 Mapping 的字段类型无法直接修改，必须通过重建索引来变更结构。

前置配置：网络与白名单

在目标集群（7.x）的 elasticsearch.yml 中配置远程白名单，允许访问源集群地址。配置后需重启节点或调用 API 刷新设置。

# elasticsearch.yml
reindex.remote.whitelist: ["source-5x-host:9200", "192.168.1.100:9200"]

若是云上环境，还需确认网络架构（如 VPC 互通）及安全组规则。

目标索引 Mapping 定义

在 7.x 集群预先创建新索引，定义符合 7.x 规范的 Mapping（移除 type 层级）。若源索引存在多 Type，建议将原 _type 字段保留为新字段。

PUT /new_index_7x
{
  "mappings": {
    "properties": {
      "doc_type": { "type": "keyword" },
      "message": { "type": "text" },
      "timestamp": { "type": "date" }
    }
  }
}

执行 Reindex 数据迁移

以下命令演示如何将远程 5.x 集群的索引数据迁移到本地 7.x 集群。需在目标集群执行。

注意：此示例包含 Painless 脚本，用于将 5.x 的 _type 字段复制到 doc_type 字段，防止多 Type 数据 ID 冲突覆盖。

POST _reindex
{
  "source": {
    "remote": {
      "host": "http://source-5x-host:9200",
      "username": "user",
      "password": "pass"
    },
    "index": "old_index_5x"
  },
  "dest": {
    "index": "new_index_7x"
  },
  "script": {
    "source": "ctx._source.doc_type = ctx._type;"
  }
}

若数据量大，可调整 batch_size 或采用切片并行（Sliced Scroll）。

任务监控与异常处理

Reindex 是异步操作，可通过以下命令监控进度：

GET _tasks?action=*reindex*&detailed=true

若需取消正在运行的任务：

POST _tasks/task_id/_cancel

若遇到网络超时，可在 source 配置中增加 socket_timeout 参数。

迁移验证方法

数量核对：对比源索引和目标索引的文档数量。使用 GET /_count 接口检查文档总数。
结构检查：通过 GET /new_index_7x/_mapping 确认新索引的字段类型是否符合预期。
抽样验证：随机查询几条数据，确认原 _type 信息是否已正确存入 doc_type 字段。
业务观察：若有业务流量，观察日志是否有写入报错。

常见风险与排查

类型移除报错：5.x 的多 Type 索引迁移到 7.x 时，若不处理 _type，相同 ID 不同 Type 的数据会发生覆盖。必须通过 script 参数区分。
连接被拒：未配置 reindex.remote.whitelist 会导致 Remote Connection Error。
性能影响：Reindex 基于 Scroll API 读取数据，高并发下可能影响源集群性能，建议在低峰期执行或限制速率。