火车头采集详情以及准备工作

一、前期准备

1. 软件安装：从火车头采集器官方网站下载安装包，关闭杀毒软件和防火墙，避免关键文件被误删，按照提示完成安装。

2. 目标分析：访问www.x6d.com，观察网站结构，确定要采集的内容，如文章标题、内容、发布时间等，同时查看是否有反爬机制，如验证码、登录限制等，该网站目前可直接访问，无明显反爬。

3. 工具准备：准备好浏览器（用于查看网页源码和获取 XPath），若有需要可配置代理 IP 池，防止采集时 IP 被封禁。

二、创建采集任务

1. 打开火车头采集器，在左侧空白处单击，新建一个分组，用于管理采集任务。

2. 右击新建的分组，选择 “新建采集任务”，在弹出的窗口中填写任务名称，如 “采集 x6d 网站内容”，点击 “确定”。

3. 在任务编辑界面，切换到 “批量采集网址规则” 选项卡，填写起始网址，如www.x6d.com的某个列表页网址，例如https://www.x6d.com/list/1.html。

三、设置网址采集规则

1. 多级网址获取设置

• 切换到 “多级网址获取” 选项卡，点击 “添加”，设置获取列表页的分页规则。假设列表页分页链接格式为https://www.x6d.com/list/1.html、https://www.x6d.com/list/2.html等，在 “分页规则” 中，设置分页源代码前后及中间位置的标识，如分页链接的前导代码和后续代码，确保能正确获取所有列表页链接。

• 再点击 “添加”，设置获取文章页链接的规则。在列表页源码中找到文章链接对应的 HTML 标签，如<a href="https://www.x6d.com/article/123.html">文章标题</a>，通过正则表达式或 XPath 提取链接，设置包含或排除特定字符，确保只采集需要的文章页链接。

2. 网址测试：设置好规则后，点击 “测试” 按钮，查看是否能成功采集到列表页和文章页的链接，若有问题，根据测试结果调整规则。

四、设置内容采集规则

1. 切换到 “内容采集规则” 选项卡，点击 “添加”，设置要采集的字段，如标题、内容、发布时间等。

2. 标题提取

• 在浏览器中打开文章页，按 F12 打开开发者工具，找到标题对应的 HTML 标签，如<h1 class="title">文章标题</h1>，获取其 XPath 路径，如//h1[@class="title"]/text()，或通过正则表达式<h1 class="title">(.+?)</h1>提取标题内容。

• 在火车头采集器中，输入标题的前后代码或 XPath，设置提取规则，点击 “测试” 查看是否能正确提取标题。

3. 内容提取

• 同样在开发者工具中找到文章内容对应的 HTML 标签，如<div class="content">文章内容</div>，获取其 XPath 或前后代码。

• 由于内容可能包含多余的 HTML 标签，可在规则中设置 “HTML 标签排除”，去除不需要的标签，如广告、脚本等。

• 测试内容提取结果，确保能准确获取文章正文。

4. 其他字段提取：按照上述方法，设置发布时间、作者等其他字段的采集规则。

五、采集设置与执行

1. 切换到 “采集设置” 选项卡，设置单任务采集内容线程个数，建议新手设置为 1-3，避免并发过高导致 IP 被封；设置采集内容间隔时间，如 1000 毫秒，降低对目标网站服务器的压力。

2. 点击 “保存” 按钮，保存采集任务设置。

3. 在任务列表中右击新建的任务，选择 “开始采集”，等待采集完成。采集过程中可查看日志，了解采集进度和是否有错误发生。

六、数据导出与清洗

1. 采集完成后，切换到 “数据导出” 选项卡，选择导出格式，如 CSV、TXT 或数据库。

2. 设置导出模板，选择要导出的字段，设置文件保存路径和文件名格式。

3. 点击 “导出” 按钮，将采集到的数据导出。导出后可使用 Excel 等工具对数据进行清洗，去除空值、重复数据等，确保数据质量。

七、注意事项

1. 采集时要遵守网站的 robots 协议，避免过度采集对网站服务器造成压力，以免被封禁 IP。

2. 若网站有反爬机制，如验证码、动态加载等，可配置代理 IP、使用浏览器渲染模式（如安装 Chrome 驱动）等方式应对。

3. 定期备份采集规则和数据，防止数据丢失。