AI 写作产生的重复推荐,通常不是模型偏好问题,而是它每次调用都看不到你之前推过什么:候选池没做去重、历史记录没进上下文、模型输出又是自由文本没法程序比对。能落地的顺序是先把「已推荐」变成一份可读的 JSON,调用模型前用标题归一化做一次差集和近似判重,把剩下的候选连同历史清单一起交给模型,并要求它只从候选池里挑、输出固定字段。
适用场景:AI 批量生成选题、推荐列表、内容排期这类需要跨多次调用保持不重复的任务。操作动作:维护一份 history.json,每次调用前用归一化标题做完全匹配加近似判重,把筛后的 fresh.json 和已推荐清单一起写进 prompt,要求模型只从候选池挑选并输出结构化 JSON。验证方式:看脚本打印的可用条数和丢弃条数,抽查 dropped 里的近似条目是否被错误排除。风险边界:相似度阈值要按标题长度和语言调,没有通用最优值,短标题容易错误排除。
AI写作之前先确认这三件事
这三项缺任何一项,后面都会卡在一个看不出原因的地方。
- 版本:确认模型标识的完整名称。在服务商控制台的模型列表页看 model 字段,通常带日期后缀或 preview 标记,把它原样抄进代码;自建服务可以用
curl -s "$BASE_URL/v1/models"看返回的 id。名称写错或写了个泛称,结构化输出经常直接不生效,返回的还是带解释文字的段落。 - 权限:确认这把密钥能调这个模型。在控制台的密钥管理页看可用模型范围和是否只读;不看面板也能验证,发一次最小请求,返回 401 或 403 就是权限问题,不是代码问题。
- 入口位置:确认你的写作流程实际调的是哪一层。是直接调模型接口、平台封装好的写作工具,还是自己代码里又包了一层。在代码里搜 client 初始化那一行,看 base_url 和 model 两个参数;在平台里看设置项里有没有「按候选输出」「关闭自由改写」这类开关。入口找错了,改 prompt 是白改。
AI写作:最短可用路径
- 建目录和两个空文件:
mkdir -p ~/aiwrite && cd ~/aiwrite && printf '[]' > history.json && printf '[]' > candidates.json。做完ls应该看到两个 JSON。 - 把下面的脚本存成 dedupe.py(同目录),只用标准库,不装依赖。
- 从你的文章表或推荐记录里导出已发布条目到 history.json,从 RSS、搜索或采集结果导出候选到 candidates.json,每项至少要有
title字段。检查结构:python3 -c "import json;d=json.load(open('candidates.json',encoding='utf-8'));print(len(d), d[0])",要能打印出条数和第一条内容。 - 执行
python3 dedupe.py,正常会打印类似「候选 300 条,可用 20 条,丢弃 12 条 -> fresh.json」,同时生成 fresh.json,里面有 fresh 和 dropped 两个数组。 - 把 fresh 和已推荐清单写进 prompt.txt 交给模型,模型返回后,把新选中的标题追加回 history.json。这步不执行,下一轮等于没做去重。
import json, re, unicodedata
from difflib import SequenceMatcher
HISTORY = 'history.json' # 已推荐/已发布条目,数组,每项至少有 title
CANDIDATES = 'candidates.json' # 本次候选,数组,每项至少有 title
OUT = 'fresh.json'
THRESHOLD = 0.72 # 0-1,越大越宽松
MAX_ITEMS = 20
def norm(s):
s = unicodedata.normalize('NFKC', str(s)).lower()
return re.sub(r'[\s\W_]+', '', s)
def load(path):
with open(path, encoding='utf-8') as f:
return json.load(f)
def main():
history, cands = load(HISTORY), load(CANDIDATES)
seen = [norm(x.get('title', '')) for x in history]
seen = [s for s in seen if s]
kept, dropped = [], []
for c in cands:
k = norm(c.get('title', ''))
if not k:
dropped.append({'title': c.get('title', ''), 'reason': '空标题'}); continue
if k in seen:
dropped.append({'title': c['title'], 'reason': '完全相同'}); continue
hit = None
for s in seen:
if abs(len(k) - len(s)) > max(len(k), len(s)) * 0.5:
continue
r = SequenceMatcher(None, k, s).ratio()
if r >= THRESHOLD:
hit = round(r, 3); break
if hit:
dropped.append({'title': c['title'], 'reason': '近似 %s' % hit}); continue
seen.append(k); kept.append(c)
if len(kept) >= MAX_ITEMS:
break
with open(OUT, 'w', encoding='utf-8') as f:
json.dump({'fresh': kept, 'dropped': dropped}, f, ensure_ascii=False, indent=2)
print('候选 %d 条,可用 %d 条,丢弃 %d 条 -> %s' % (len(cands), len(kept), len(dropped), OUT))
if __name__ == '__main__':
main()
发现仍然重复时,按这个顺序判断,不要一上来就换模型:先看候选池本身有没有重复条目,再看 history.json 条数有没有增长,再看脚本 dropped 里是否已经拦下这条,然后看 prompt 里送进去的历史有没有被截断,最后才怀疑模型不听话。

AI写作:一个真实场景的完整做法
场景:一个技术博客站,每周要出 20 条选题推荐。候选池是采集来的 300 条标题,每条字段为 title、tags、source_url;历史是已发布的 1200 篇文章,字段为 title、published_at。
- 路径常量 HISTORY、CANDIDATES、OUT 写在 dedupe.py 顶部,三个文件和脚本放同一目录。
- MAX_ITEMS 设 20,对应每周的推荐条数,写在 dedupe.py 顶部。
- THRESHOLD 先设 0.72,写在 dedupe.py 顶部。中文标题在 10 到 25 字这个区间,0.72 通常能抓到只换了几个词的标题;标题普遍在 8 字以内时会错误排除,需要往下调到 0.8 左右,结合你的候选量确认。
- history.json 的两个字段直接沿用导出的列名,导出时把文章标题列改成 title,脚本只认这个字段。
- prompt.txt 里
{{history_list}}建议只取最近 60 条,截断逻辑写在调用模型的脚本里。历史越长越容易把上下文占满,超出后被丢掉的部分不会报错,只会表现成「模型又开始重复」。
你是技术博客的选题助手。只能从【候选池】里挑选,禁止改写标题,禁止编造候选池以外的条目。
【已推荐清单】
{{history_list}}
【候选池】
{{fresh_list}}
输出:严格 JSON 数组,不要代码块围栏,不要解释文字。每项字段:
title(必须与候选池中某一条完全一致)、topic_key、tags、reason(一句话)
容易踩的坑:把已推荐清单塞进 system 提示词一次,后面就不管了。多轮改写、追问或分段生成时,后半段上下文里已经看不到最初那份清单,模型会自然地再推一遍前面的条目。清单应该跟着每一轮用户消息一起带,而不是只在开头出现一次;并且入库判断要放在你这边,按返回的 title 和 history.json 再做一次比对,不要只信模型自己说「没有重复」。

AI写作:跑不通先查这三处
第一处:没有报错,但推出来的还是见过的选题。页面提示通常是空的,只是 fresh.json 里某条和你记忆中的旧文很像。先在这个脚本输出的 dropped 数组里搜这条标题:如果搜不到,说明候选池里根本没有它,是模型自己编的,回去检查 prompt.txt 里有没有写「只能从候选池挑选,title 必须完全一致」;如果搜得到而模型还是给了它,说明补写历史记录的那一步没生效,用 python3 -c "import json;print(len(json.load(open('history.json',encoding='utf-8'))))" 连续跑两次,数字不涨就是没写进去。

第二处:脚本直接崩在读取阶段。典型报错是 json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0) 或 KeyError: 'title'。前者多半是文件开头有 BOM 或混进了说明文字,用 head -c 200 candidates.json 看一眼;后者是字段名不叫 title。还有一种是导出成了对象而不是数组,用 python3 -c "import json;d=json.load(open('candidates.json',encoding='utf-8'));print(type(d))" 确认,如果是 dict,脚本里 load 之后要改成取 d['items'] 这类具体的键。
第三处:请求本身被拒绝,或返回的解析不了。被拒绝时返回体通常长这样:{"error":{"code":"invalid_api_key","message":"..."}},或者直接 401、403。去控制台密钥页确认 key 是否被删、是否换了项目、有没有这个模型的访问权限。解析失败时常见的是返回文本外面裹了一层代码块围栏,检查 prompt.txt 里「不要代码块围栏」那句是否还在,以及接口参数里有没有开启 JSON 模式;这个参数名各家不一样,以你控制台接口文档页上写的字段名为准,不要照抄别家的。