Screaming Frog SEO Spider(网络爬虫开发工具)

Screaming Frog SEO Spider 是一款网站优化分析工具，特别为搜索引擎优化设计和链接检测来分析网站。Screaming Frog SEO Spider支持抓取网站并查找断开的链接（404）和服务器错误、审计重定向、发现重复内容、分析页面标题和元数据等功能，是一款非常使用的网站优化和SEO工具。该工具可以从SEO的角度出发，模拟谷歌、必应等搜索引擎对网页进行抓取，同时分析网页的结构、内容等信息，然后为我们给出详细的分析结果。你可以通过这款软件来快速抓取网站中可能出现的损坏链接和服务器错误，或是识别网站中临时、永久重定向的链接循坏，同时还能检查出网址、网页标题、说明以及内容等信息中心可能出现的重复问题，在经过抓取分析之后，你就能将这些错误问题全部批量导出发送给开发人员进行修复。另外该软件还支持使用XPath提取数据，所以只要你的网站结构简练就不必担心在抓取时可能会出现错漏问题。欢迎下载！
PS:本次小编带来的是Screaming Frog SEO Spider破解版，附安装教程+破解补丁，欢迎下载！

安装破解教程

1、首先在本站下载好这款文件包，将其解压出来可得到如下文件。

2、双击“ScreamingFrogSEOSpider.exe”主程序运行，直接傻瓜式默认下一步完成安装。

3、安装成功后，直接运行注册机获取用户名和产品密钥。

4、然后运行软件，点击Licence栏下的Enterlicence选项，并将获取的用户名与注册码复制粘贴在该窗口中点击确定即可。

软件功能

1、查找断开的链接、错误和重定向
2、分析页面标题和元数据
3、审查元机器人和指令
4、审计hreflang属性
5、发现重复的页面
6、生成XML站点地图
7、爬网限制
8、抓取配置
9、保存抓取并重新上传
10、自定义源代码搜索
11、自定义提取
12、Google Analytics集成
13、Search Console集成
14、链接指标集成
15、JavaScript渲染抓取
16、自定义robots.txt抓取

软件特色

1、找到断开的链接
立即抓取网站，找到损坏的链接（404）和服务器错误。批量导出错误和源URL以修复或发送给开发人员。
2、审计重定向
找到临时和永久的重定向，识别重定向链和循环，或者上传一个网址列表，以在网站迁移中进行审计。
3、分析页面标题和元数据
在抓取过程中分析页面标题和元描述，并确定在您的网站中过长，短小，缺失或重复的页面标题和元描述。
4、发现重复的内容
使用md5算法检查发现精确的重复网址、部分重复的网页标题、说明或标题等元素，并找到内容较低的网页。
5、使用XPath提取数据
使用CSS Path，XPath或regex从网页的HTML中收集任何数据。这可能包括社交元标签、额外的标题、价格、SKU或更多！
6、审查机器人和指令
查看由robots.txt、meta robots或X-Robots-Tag指令（如“noindex”或“nofollow”）以及canonicals和rel=“next”和rel=“prev”阻止的URL。
7、生成XML站点地图
快速创建XML站点地图和图像XML站点地图，通过包含URL的高级配置，上次修改，优先级和更改频率。
8、与Google Analytics集成
连接到Google AnalyticsAPI，并抓取用户数据，例如会话或跳出率和转化次数，目标，交易和着陆页的收入。

使用方法

一、爬行抓取
1、常规抓取
在常规抓取模式下，Screaming Frog SEO Spider会抓取您输入的子域名，并将默认情况下所遇到的所有其他子域名视为外部链接（显示在“外部”标签下）。在该软件的许可版本中，您可以调整配置以选择抓取网站的所有子域。搜索引擎优化蜘蛛最常见的用途之一是在网站上发现错误，如断开的链接，重定向和服务器错误。为了更好地控制抓取，请使用您的网站的URI结构、SEO spider配置选项，例如只抓取HTML（图像、CSS、JS等）、排除功能、自定义robots.txt、包含功能或者更改搜索引擎优化蜘蛛的模式，并上传一个URI列表抓取。
2、抓取一个子文件夹
SEO Spider工具默认从子文件夹路径向前抓取，因此如果您希望抓取站点上的特定子文件夹，只需输入具有文件路径的URI即可。例如，如果它是一个博客，它可能是：https://www.screamingfrog.co.uk/blog/，就像我们自己的博客。通过直接输入到SEO Spider中，它将抓取/blog/sub目录中包含的所有URI。
3、抓取网址列表
通过输入网址并点击“开始”来抓取网站，您可以切换到列表模式，粘贴或上传要抓取的特定网址列表。例如，在审计重定向时，这对于站点迁移尤其有用。
二、组态
在该工具的许可版本中，您可以保存默认的爬网配置，并保存可在需要时加载的配置配置文件。
1、要将当前配置保存为默认值，请选择“文件>配置>将当前配置保存为默认值”。
2、要保存配置文件以便将来可以加载，请单击“文件>另存为”并调整文件名（最好是描述性的）。
3、要加载配置文件，请单击“文件>加载”，然后选择您的配置文件或“文件>加载最近”以从最近的列表中进行选择。
4、要重置为原始Screaming Frog SEO Spider默认配置，请选择“文件>配置>清除默认配置”。
三、出口
顶部窗口部分的导出功能在顶部窗口中与您当前的视野一起工作。因此，如果您使用过滤器并单击“导出”，则只会导出过滤选项中包含的数据。
有三种主要的数据导出方法：
1、导出顶层窗口数据：只需点击左上角的“导出”按钮，即可从顶层窗口选项卡导出数据。
2、导出较低的窗口数据（URL信息、链接、输出链接、图像信息）：要导出这些数据，只需在顶部窗口中右键单击要导出数据的URL，然后单击“导出”下的“URL信息”、“链接”、“出链接”或“图片信息”。
3、批量导出：位于顶层菜单下，允许批量导出数据。您可以通过“all in links”选项导出抓取中找到的链接的所有实例，也可以将所有链接全部导出到具有特定状态代码（如2XX，3XX，4XX或5XX响应）的URL。例如，选择“链接中的客户端错误4XX”选项将导出全部链接到所有错误页面（例如404错误页面）。您还可以导出所有图像替代文字，所有图像缺少替代文字和所有锚点文字。