DISTINCT关键字是最简单的方法，用于去除查询结果中的重复行。例如：SELECT DISTINCT column1, column2 FROM table_name; 这会高效过滤重复数据组合。

使用ROW_NUMBER()窗口函数去重

高效去重技巧：SELECT * FROM (SELECT *, ROW_NUMBER() OVER (PARTITION BY column1, column2 ORDER BY some_column) AS rn FROM table_name) WHERE rn = 1; 这种方法保留每个重复组的第一行，提升数据处理效率。

聚合函数COUNT与GROUP BY

通过GROUP BY column1, column2 HAVING COUNT(*) = 1; 可以找出不重复的记录，结合MAX或MIN函数处理重复，提升查询速度。

创建唯一索引避免重复插入

在插入数据前创建唯一索引：CREATE UNIQUE INDEX idx_unique ON table_name (column1, column2); 这从源头防止重复数据，提高整体效率。

使用MINUS或EXISTS子查询

去除重复：SELECT * FROM table1 MINUS SELECT * FROM table2; 或使用NOT EXISTS子句过滤已存在的记录，适用于大数据集的高效去重。

分析函数RANK()与DENSE_RANK()

RANK() OVER (PARTITION BY col1 ORDER BY col2) 可以标记重复行，然后过滤rank=1的行；DENSE_RANK()类似但不跳跃，提升复杂场景下的处理效率。

FAQ

Q: DISTINCT和GROUP BY哪个更快？
A: GROUP BY通常更快，尤其在大表上，因为它能利用索引。

Q: 如何批量删除重复数据？
A: DELETE FROM table WHERE rowid NOT IN (SELECT MIN(rowid) FROM table GROUP BY col1, col2);

Q: 窗口函数去重会影响性能吗？
A: 在分区合理时性能好，但大数据集需加索引优化。

Q: 去重后数据顺序怎么保持？
A: 在窗口函数的ORDER BY中指定排序列。