想验证您的 robots.txt 规则是否正确？输入您的网址获取，或直接粘贴规则，我们将为您实时检测 URL 的封禁状态。
您可以输入网站主页 URL，我们将自动尝试获取其 robots.txt，或者您也可以直接在右侧代码框中手动输入您的规则。
您可以选择特定的搜索引擎 User-Agent (如 Googlebot, Bingbot 等) 来模拟不同搜索引擎的抓取行为。
在下方的输入框中，输入您想要检测的完整 URL 链接。
工具会实时根据您输入的 URL 判断是否被当前的 robots.txt 规则所封禁，并会在规则区域高亮起作用的那一行。
robots.txt 是网站根目录下的一个文本文件，它告诉搜索引擎的爬虫哪些页面可以抓取，哪些页面不能抓取。
允许抓取仅仅是前提条件，搜索引擎是否收录还取决于页面质量、内链结构、是否设置了 noindex 等因素。
爬虫会优先匹配与自己名字精确相同的 User-Agent 规则块。如果没有找到，它会寻找针对所有爬虫（User-agent: *）的规则块。
