Screaming Frog 进阶教程：不仅能查 404，还能偷偷监控竞品价格与库存？

在上一篇文章中，我们介绍了用 Screaming Frog（尖叫的青蛙） 给独立站做基础体检（查 404 死链、查 Title 缺失）。

但这仅仅是这只“青蛙”10% 的功力。

很多“一人公司”的老板觉得，爬虫工具只有程序员才用得懂。其实不然，Screaming Frog 就像一把瑞士军刀，如果你懂得善用它的“自定义提取（Custom Extraction）”和“跨站爬取”功能，它甚至能变成你的“商业间谍”。

今天这篇进阶教程，我就带大家解锁这只青蛙的隐藏玩法，教你如何防被服务商坑，以及如何监控竞争对手的一举一动。

一、 List 模式：专治外链服务商的“各种不服”

当你花了几千美金，在 Fiverr 或者 Upwork 上找老外买了一批外链（Backlinks）后，对方交给你一个包含上百条链接的 Excel 表格。

你怎么知道这些外链是不是真的？有没有重复？有没有被加上 Nofollow 标签？

难道你要一条一条点开看吗？

实操 SOP：使用 List 模式批量验货

1. 打开 Screaming Frog，将顶部的 Mode（模式） 从 Spider 切换到 List。
2. 点击 Upload（上传），选择 Paste（粘贴），把你买来的所有外链网址一次性粘贴进去。
3. 点击 Start 开始爬取。

重点看什么？

• 查重复：工具会自动提示你粘贴的列表里有多少是重复的网址（很多无良服务商喜欢用重复链接凑数）。
• 查状态码（Status Code）：如果爬出来一堆 404 或者 Time Out（超时），说明对方把你的链接发在了一些随时会关停的垃圾站上，或者发完就删了。拿着这个截图，直接去平台申请退款！
• 查收录限制：看 Indexability 这一列。如果对方发给你的页面，代码里写着 Noindex（禁止搜索引擎收录），那你这笔钱就彻底打水漂了。

二、 查“内鬼”：你的网站在偷偷给谁导权重？

很多新手会忽略一个极其危险的隐患：你的网站可能在不知不觉中，把宝贵的权重免费送给了别人（甚至是你的竞争对手）。

原因有两点：

1. 你使用的免费主题（Theme）或插件，在代码深处（比如页脚）暗藏了指向他们官网的链接。
2. 你招的外包写手或实习生，在复制粘贴文章时，不小心把别人网站的锚文本也带过来了。

怎么查？

在青蛙爬完你的网站后，点击顶部菜单的 Bulk Export（批量导出） -> Links（链接） -> All Outlinks（所有出站链接）。

打开导出的表格，过滤掉那些正常的社交媒体链接（Facebook、YouTube）和权威引用（Wikipedia）。如果发现莫名其妙地指向了同行卖货的网站，赶紧回后台把它删掉！

三、 终极黑科技：Custom Extraction（监控竞品价格与库存）

这是电商独立站（B2C）的高阶玩法。

假设你有一个死对头，你想知道他哪些产品今天打折了？哪些产品卖断货了（说明好卖，你要赶紧跟进）？

你不需要去学 Python 写爬虫，Screaming Frog 的 Custom Extraction（自定义提取） 功能就能搞定。

底层逻辑：
虽然每个网站长得不一样，但同一个网站内，显示“价格”或“Out of Stock（缺货）”的 HTML 代码结构通常是固定的（比如都藏在一个特定的 CSS Class 或 XPath 里面）。

实操思路：

1. 打开竞品的一个产品页，右键点击价格，选择“检查（Inspect）”，找到包围价格的那段代码，右键复制它的 XPath 或 CSS Path。
2. 打开 Screaming Frog，进入 Configuration（配置） -> Custom（自定义） -> Extraction（提取）。
3. 添加一条规则，粘贴你刚才复制的 XPath，命名为“价格”。
4. 输入竞品的域名开始爬取。

爬完之后，你会得到一张极其华丽的 Excel 表格：第一列是竞品所有的产品链接，第二列是对应的实时价格，第三列是是否有货。

你这周爬一次，下周爬一次，对比一下数据，对手的底牌就全在你手里了。

四、 避坑：被目标网站拦截了怎么办？

在爬取大型网站（尤其是 Shopify 建站的同行）时，你可能会遇到进度条卡住，或者全部返回 403 / 503 错误。

这是因为对方的服务器开启了防爬虫机制，识别出你是一只“青蛙”。

破局技巧：伪装成 Google 蜘蛛

进入 Configuration（配置） -> User-Agent（用户代理）。
在下拉菜单中，把默认的 Screaming Frog SEO Spider 改成 Googlebot (Smartphone) 或 Chrome。

这样，对方的服务器就会以为你是 Google 官方来抓取数据了，通常就会放行。如果还是不行，就需要考虑使用代理 IP（Proxy）来更换网络环境了。

总结

对于“一人公司”来说，Screaming Frog 就像是你雇佣的一个不知疲倦的 24 小时巡检员。

前期，用它来检查自己网站的死链和 Title 缺失，打好 SEO 基础。
后期，用它来验货外包服务商的质量，甚至去监控竞争对手的商业数据。

熟练掌握这个工具，你的独立站运营水平将实现质的飞跃。