火车头采集规则：页面主题过宽时依据什么拆成独立任务
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /71f3b99d055d.html
📄
火车头采集规则：页面主题过宽时依据什么拆成独立任务
判断依据不是页面字数，而是这条采集任务产出的记录，能不能对应一个可独立检索、可独立满足需求的页面主题。如果同一条任务里混进了两种以上用户意图、两种以上字段结构，或者标题只能靠人工二次判断才能归类，就应该拆成独立任务，而不是继续在一条规则里加过滤条件。
先看记录粒度，而不是先看页面数量
火车头采集规则的最小产出单位是记录。拆任务的第一个依据，是记录粒度是否一致。假设一个列表页同时混有“政策原文”和“政策解读”，两者标题长度、正文来源、发布时间字段都不同。如果强行用同一条规则抓取，正文规则会互相污染，过滤条件也会越加越复杂。
这时可以做一个核对动作：随机导出二十条记录，逐条标注它应该落在哪个页面主题下。如果标注结果出现三种以上类别，且每类都需要不同的字段映射，说明当前任务的主题已经过宽。下一步不是继续调过滤，而是按类别拆成独立任务，各自配置列表页范围和字段对应关系。
三种可区分的证据，对应三种处理方式
主题过宽时，常见的处理是保留、改写或退出。区分它们需要可核对的证据，而不是凭感觉。
- 保留：记录粒度一致，字段结构一致，只是标题长短不一。此时主题并没有真正过宽，只是展示层不统一。动作是保留一条任务，把差异交给字段处理和模板判断。
- 改写：记录粒度一致，但采集来源分散在多个列表入口，字段名相同、位置不同。此时应改写规则中的列表页范围与字段定位，而不是拆成多条任务，否则后续维护成本会成倍增加。
- 退出：同一任务里既有列表页又有详情页，既有结构化字段又有大段非结构化正文，且两者没有稳定的共同标识。此时继续保留只会让规则越来越难验证，退出并拆成独立任务更合理。
这里的关键是：保留和改写针对的是规则内部调整，退出针对的是任务边界本身。把退出误判成改写，通常表现为不断加过滤条件却始终无法稳定产出。
用假设例子验证拆分是否成立
假设一个采集任务要抓取某类产品的“参数表”和“使用说明”。参数表是固定字段，使用说明是大段文本。如果只按标题关键词过滤，两类内容会混在同一条任务里，导出后无法直接用于不同页面模板。
验证方法是：先只保留参数表字段，跑一次小范围采集，检查每条记录是否都能填满预设字段。如果出现大量空字段，说明当前任务里混入了非参数表内容。此时把使用说明拆成独立任务，参数表任务只负责结构化字段，使用说明任务只负责正文抽取。拆分后，每个任务的验收标准变得单一，后续调整字段映射时也不会互相影响。
这个动作的结果会直接影响下一步：如果拆分后参数表任务仍然有空字段，问题就在字段定位规则，而不是任务边界；如果拆分后两类任务都能稳定产出，说明拆分依据成立。
拆分后要重新定义每个任务的完成条件
拆成独立任务后，不能沿用原来的完成标准。每个任务需要单独说明：采集范围是什么、必须填满哪些字段、哪些字段允许为空、导出后交给哪个页面模板。这样做的目的是让后续判断有依据，而不是靠感觉认为“差不多抓完了”。
如果某个任务在拆分后仍然频繁出现主题混杂，通常说明拆分依据选错了。例如按来源网站拆分，但同一网站内部本身就混合了多种意图，这时应该改按记录结构或页面主题拆分，而不是继续按来源切分。
什么时候不该拆
如果记录粒度一致、字段结构一致，只是标题里出现了不同修饰词，这种情况拆任务反而会增加维护负担。判断标准是：拆开之后，两个任务是否真的需要不同的字段映射、不同的过滤条件或不同的验收标准。如果答案是否定的，保留一条任务并优化字段处理更合适。
主题过宽不是看页面数量多不多，而是看一条任务产出的记录能否对应一个稳定的页面主题。能对应就保留，对应不上就拆开；拆分之后仍然对应不上，就要检查字段定位和验收标准，而不是继续增加任务数量。
