词雷达刚推来一个新词时,建议先看来源,再看频次。原因是频次只回答“出现了多少次”,来源才回答“这些出现能不能互相印证”。同一个作者在多个平台转发、同一篇稿子被多个站点转载、同一个营销活动在同一天铺开,都会把频次做得很好看,但只要来源不独立,频次高也说明不了扩散。可操作的顺序是:先定位新词的第一次出现位置和上下文,判断它是产品命名、社区黑话还是误抓;再统计互不相关的来源数量;最后才看频次曲线的形态。这个顺序在抓取范围、去重规则、时间窗口都还没确认时更要坚持,因为此时频次数字本身的可信度最低。
新词进词雷达后,先看来源再决定要不要看频次。先拿首现快照的原始片段和上下文,区分产品命名、社区黑话和误抓;再按“域名+作者”去重数独立来源,同一作者多平台转发不计入;最后看按天序列是阶跃还是缓慢爬升。来源单一但频次高的词单独放观察栏,不进主词表,观察周期建议 3 到 7 天。抓取范围和去重规则需要按自己环境确认,不能直接套用别人的阈值。
确认这个词第一次出现的位置和上下文
词雷达的推送通常只带一个词和一句摘要,不足以判断性质。建议先回到原始抓取快照,把该词第一次出现的页面片段和显示时间取出来,看它在句子里的位置。同一个词在不同上下文里含义完全不同:出现在产品发布页、更新日志、仓库名、应用商店条目里的,大概率是产品命名;出现在评论区、聊天记录、缩写和梗里的,倾向社区黑话;出现在 URL 参数、代码标识符、拼写变体、分词切错的边界上的,按误抓处理。判断时必须保留原始片段,不要只留一句自己转述的说明,否则后面复核时无法回看。
# 在词雷达落地的原始抓取日志里定位首现记录
# 假设字段顺序为:ts,source_domain,author_id,url,text
grep -i '新词' radar_raw/*.log \
| sort -t, -k1,1 \
| head -5
取到片段后,把上下文类型和原始句子一起写进记录。这一步的验证方式是:用同一个片段给第二个人看,看对方能否得出相同的类型判断;如果两人判断不一致,说明片段截得太短,需要往前多取一两句。
统计它在多少个互不相关的来源里出现
来源计数要先去重再看数。建议的去重键是“域名 + 作者标识”,同一作者在不同平台发同样内容,只算一个独立来源;同一篇稿子被多个站点转载,也只算一个独立来源。按域名分组统计,能比较直观地看出是单点冒头还是跨平台扩散。
-- 通用骨架,字段名按自己的表结构调整
SELECT source_domain,
COUNT(DISTINCT author_id) AS independent_authors,
COUNT(*) AS raw_hits,
MIN(ts) AS first_seen
FROM radar_hits
WHERE term = '新词'
GROUP BY source_domain
ORDER BY first_seen;
| 来源域名/平台 | 独立作者数 | 原始出现次数 | 首现时间 | 是否计入独立来源 |
|---|---|---|---|---|
| 站点 A | 1 | 多条 | 按日志填写 | 计入 |
| 站点 B | 1 | 多条 | 按日志填写 | 计入 |
| 站点 C(与 A 同作者转发) | 0(重复作者) | 多条 | 按日志填写 | 不计入 |
表格里的次数不要手填凑数,用上面的查询结果直接导出。独立来源数小于等于 1 时,无论原始出现次数多高,都建议先降级处理,不要因为看到“很多条”就当成扩散。
看频次曲线是阶跃还是缓慢爬升
把该词按天聚合,得到一条出现次数序列,再看形态。阶跃的特征是某一天或连续两天内集中出现,之后回落或保持平稳,通常对应一次事件:发布会、活动、某篇内容被集中转载。缓慢爬升的特征是每天小幅增加,持续多天没有明显尖峰,更像长期用法的累积。还有一种平坦形态,几天内都是一两条,属于长尾噪声,不建议跟进。
# 按天统计出现次数,输出“日期 次数”
awk -F, '{split($1,a,"T"); print a[1]}' radar_raw/*.log \
| sort | uniq -c
判别标准可以写死成两条:序列里最大一天的值明显高于其他天,且次日出现回落,记为阶跃;连续三天以上数值单调上升且没有单日尖峰,记为缓慢爬升。阈值不要直接抄,需要结合自己的抓取频率和抓取范围确认——抓取间隔越长,阶跃越容易被拉平成爬升。
把频次高但来源单一的词单独放一栏
这类词是噪声的主要来源:频次看起来热闹,但全部来自同一作者、同一站点或同一批转载。处理方式是不混进主词表,单独建一个观察栏,记录词、首现来源、当前独立来源数、累计出现次数和观察截止时间。
| 词 | 首现来源 | 独立来源数 | 累计出现次数 | 观察截止 |
|---|---|---|---|---|
| 示例词 1 | 站点 A / 作者 X | 1 | 按查询结果填写 | 首现后第 3 天 |
| 示例词 2 | 站点 B / 作者 Y | 1 | 按查询结果填写 | 首现后第 7 天 |
观察周期建议 3 到 7 天,具体按自己抓取的覆盖面和更新频率调整。观察期结束时只看一个指标:独立来源数是否增加。没有增加的,从观察栏移除,不进入主词表;增加了的,重新走一遍来源和频次判断。
定下先来源后频次的判断顺序并记录理由
把顺序固定下来,才能避免每次凭感觉。推荐顺序是:定位首现片段与上下文 → 统计独立来源数 → 看按天频次形态 → 给出结论并写理由。结论一般落成三种:跟进、观察、丢弃。理由栏要写清是来源不足、上下文属于误抓,还是频次形态只是阶跃事件。
{
"term": "待判断的词",
"first_seen": {
"snapshot": "原始页面或帖文片段",
"context_snippet": "该词所在的完整句子",
"context_type": "product_name | slang | noise"
},
"source_count": {
"raw": 0,
"independent": 0,
"dedupe_rule": "domain+author"
},
"freq_shape": {
"daily": [0, 0, 0],
"shape": "step | ramp | flat"
},
"decision": {
"label": "跟进 | 观察 | 丢弃",
"reason": "写清触发了哪一条判断"
}
}
这三个字段——来源数、频次形态、结论——建议每条记录都填,缺一项就说明判断链没走完。验证方式也简单:隔几天回看旧记录,如果只看“结论”想不起当时为什么这么判,说明理由写得太粗,来源数和频次形态没起到支撑作用。坚持记录一段时间后,同样顺序可以复用到下一批推送上来的新词。