Screaming Frog 教程：如何用“尖叫的青蛙”给独立站做 SEO 深度体检？

在做独立站 SEO 的过程中，我们前期做了大量的关键词调研、写了文章、布了内链。但作为一个“一人公司”老板或项目操盘手，你一定会遇到一个管理痛点：

“我怎么知道这些动作都执行到位了？”

网站上有成千上万个页面，你不可能用肉眼一个一个去点开看。如果有 100 个 404 死链你没发现，或者有 500 个产品页忘记写 Title 了，你的 SEO 效果就会大打折扣。

这时候，你需要一个“模拟 Google 爬虫”的神器，它能瞬间把你的网站扒得连底裤都不剩。

它就是大名鼎鼎的 Screaming Frog（尖叫的青蛙）。

今天这篇，我就手把手教你如何用这个工具，给自己的网站做一次深度体检，以及如何“偷窥”竞争对手的网站架构。

一、 什么是“尖叫的青蛙”？

简单来说，Screaming Frog 是一款桌面端的网站抓取工具。

它的工作原理和 Google 蜘蛛（Spider）一模一样：你输入一个网址，它就会顺着这个网址的每一个链接，把全站爬一遍，并提取出每个页面的所有 HTML 数据。

它可以帮你解决三大核心问题：

1. 排雷：找出全站的 404 死链、重定向错误。
2. 查缺补漏：找出缺失 Title、Description、H1 的页面。
3. 查权重流向：通过内链数据，看清楚你的网站权重到底流向了哪里。

二、 实操 1：全站排雷（找 404 死链与收录屏蔽）

把你的网址填入顶部的搜索框，点击 Start 开始爬取。等进度条走完，我们开始找问题。

1. 揪出 404 页面

在主界面的 Internal（内部链接） 选项卡中，按 Status Code（状态码） 排序。

• 200：代表正常。
• 301/302：代表重定向。
• 404：代表死链。

如果你发现了 404 页面，选中它，点击底部的 Inlinks（链入链接） 标签。系统会告诉你：到底是哪个页面（From），链接到了这个 404 页面（To）。

拿到这个路径，你就可以直接去网站后台，把那个错误的链接改掉。

2. 揪出被 Noindex 屏蔽的页面

很多新手经常犯一个低级错误：不小心在代码里加了 noindex 标签，导致 Google 死活不收录。

在 Screaming Frog 里，向右滑动表格，找到 Indexability（可索引性） 这一列。把不能索引的（Non-Indexable）排在前面。

重点看 Indexability Status 这一列，它会告诉你原因：

• Blocked by robots.txt：被 robots 文件屏蔽了。
• noindex：被代码标签屏蔽了。
• Canonicalised：这是规范化网址（通常是带参数的翻页链接），不用管，这是正常的去重机制。

三、 实操 2：内容质检（Title 与 H1 缺失）

我们前期规划的关键词表，最终都要落地在 Title 和 H 标签里。怎么检查有没有漏掉？

在右侧的 Overview（概览） 面板，展开 Page Titles 和 H1：

• Missing（缺失）：连标题都没写，必须补上。
• Duplicate（重复）：多个页面用了完全一样的标题，这会引起内部相食（Cannibalization），需要修改区分。
• Over 65 Characters（超长）：标题太长在 Google 上会被截断，需要精简。

小技巧：如果你的网站页面很多（比如几千个产品），可以在右下角点击 Export（导出），把缺失的数据下载成 Excel，发给员工或写手去批量修改。

四、 进阶玩法：可视化网站架构图

这是 Screaming Frog 最酷的一个功能，它能把你抽象的内链结构，变成一张 3D 的拓扑图。

点击顶部菜单栏的 Visualisations（可视化） -> Force-Directed Crawl Diagram。

你会看到一张像星系一样的图：

• 红点：代表不收录的页面（Non-Indexable）。
• 绿点：代表正常收录的页面。
• 连线：代表内链流向。

怎么看这张图？
如果你的某篇核心博客文章在图上是一个很小的点，只有一根线连着它，说明它是一个“内链孤岛”，它吃不到网站的权重，自然排不上去。
你需要做的，就是去其他页面多加几条内链指向它，让它在图上的连线变多，权重变大。

五、 节省资源的必杀技：爬取指定子目录

如果你的网站有 10 万个 SKU，全站爬取可能需要好几个小时，甚至会导致服务器卡顿。

这时候，我们可以使用 Include 和 Exclude 功能，只爬取特定的目录。

比如你只想检查德语站点的翻译情况，你可以设置只爬取包含 /de/ 的路径。
比如你只想检查产品页，可以在 Include 里输入 .*\/products\/.*。

这不仅极大地提升了效率，也是做小语种站点检查的必备手段（通过爬取触发翻译插件工作）。

总结

Screaming Frog 就像一面照妖镜，它能把你在 SEO 执行过程中的所有失误都暴露在阳光下。

对于“一人公司”来说，定期（比如每个月）用青蛙爬一次自己的网站，修复死链，补齐 Title 缺失，是保持网站健康度最低成本的方法。

工具永远是工具，它只能帮你发现问题，最终解决问题、提升排名的，依然是你去不断优化内容和链接的执行力。