外链工具脚本调用遇限流时怎样保护已有结果
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /a6c3dd5d38c7.html
📄
外链工具脚本调用遇限流时怎样保护已有结果
结论先说：如果脚本已经拿到一部分外链数据，遇到限流后最该做的不是继续重试，而是立刻停止请求、把已抓到的分页和字段落盘成可追溯的中间文件，再用断点续跑的方式补齐缺口。这样做的前提是：你手里至少保存了每页的请求参数、页码、时间戳和原始响应；如果只有一份被覆盖的汇总表，没有分页边界和抓取时间，那么“保护已有结果”就无从谈起，后续补数也无法判断哪些行可信。
限流发生后，先判断已有结果处在哪个阶段
限流本身不说明数据已经损坏，它只说明当前请求节奏触发了对方的约束。真正影响已有结果价值的是抓取状态：是完整抓完某一页后中断，还是请求发出但响应被截断，还是根本没拿到响应体。三种状态对应的处理动作不同。
- 完整页已落盘：该页结果可以保留，记录页码和抓取时间即可，下一步做断点续跑。
- 响应被截断：该页不能直接并入结果集，需要标记为不完整并重抓，否则字段缺失会污染后续去重和统计。
- 只有内存中的汇总：一旦进程退出就丢，应先导出再谈补数。
一个可执行的最小动作是：在脚本里为每次请求写一行日志，包含页码、请求参数、HTTP状态、响应字节数和落盘文件路径。限流触发后，先看最后一行日志的响应字节数是否与正常页接近。如果明显偏小，说明该页不可信，应从结果集中剔除并加入待重抓队列。这个动作的结果决定下一步是“从下一页继续”还是“回退一页重抓”。
落盘格式决定你还能不能续跑
很多人把外链工具返回的数据直接追加进一个CSV，限流后想续跑，却发现无法判断哪些行来自哪一页、哪次请求。保护已有结果的关键不是备份一份汇总，而是保留分页边界和原始响应。
假设某脚本按页码抓取，每页返回若干条外链记录。如果只存了汇总CSV，续跑时你不知道第50页是否完整，也不知道重复行是分页重叠还是真实重复。反过来，如果每页单独存一个文件，文件名带页码和抓取时间，续跑时只需读取已有页码集合，跳过已完成页，从缺口页继续。代价是文件数量变多，但换来的是可核对、可回退。
这里有一个反例会让上述做法失效：如果接口返回的是游标而非固定页码，且游标在限流后失效，那么按页码续跑就不成立。此时已抓到的每页数据仍可保留，但补数必须从新的游标起点重新建立映射，不能假设旧游标还能用。遇到这种情况，应把已抓数据视为“截至某时间点的快照”，而不是“可无缝续接的连续集”。
限流期间不要用重试掩盖数据缺口
限流后最常见的错误是加长重试间隔、继续请求，直到某一页终于返回。这样做有两个问题：一是可能延长被封禁的时间；二是重试成功的那一页如果与之前截断的响应混在一起，你很难分清哪份是完整的。
更稳妥的动作是：触发限流后立即暂停脚本，把待抓页码写入队列文件，并记录暂停时的系统时间。恢复时先读队列，而不是从头再跑。这样做的直接结果是：已完成的页不会被重复请求，限流压力下降，同时缺口页有明确清单。下一步可以据此决定是降低并发、延长间隔，还是改用离线补数。
需要说明的是，请求量归零并不等于你的处理正确。它也可能是网络中断、脚本崩溃或对方返回空响应造成的。要区分这几种解释，应查看日志中的HTTP状态和异常类型，而不是只看“没有新数据”这一现象。
缺少完整权限时，能做什么、不能推出什么
如果你只有部分接口权限，拿不到全量外链数据，限流后的保护动作仍然可以做：保存已授权范围内的结果、标注抓取时间和覆盖范围、记录未获取的字段或页码。这些动作能让你在权限恢复后快速补数，而不是重新开始。
但不能推出的结论是：已抓到的部分结果可以代表整体分布。缺少的页码或字段可能集中在特定类型的外链上，部分数据只能说明“在已覆盖范围内出现了什么”，不能说明“整体有多少”。因此，交付时应把覆盖范围写清楚，而不是把部分结果当成完整结果使用。
下一步动作可以很小：先给现有结果加一列“数据状态”，取值包括完整、截断、待重抓，再按状态筛选出可用于当前决策的行。这个动作不会补全数据，但能防止你把不可信的行混进结论。
