robots.txt and sitemap.xml analyzer robots.txt and sitemap.xml analyzer

Analyze robots.txt and sitemap.xml online

Enter a website URL to fetch robots.txt, parse crawler groups, detect Sitemap directives and validate linked sitemap XML files.

The analyzer checks whether important bots can crawl the root path, counts sitemap URLs, finds duplicate or external URLs and performs a sampled broken-link check for sitemap entries.

該工具直接在瀏覽器中運行,無需安裝軟體即可進行快速檢查。
輸入可以立即清除並重新計算,這對於重複的小任務很有用。
當您需要更多空間來容納長文字、結構化資料或大型結果區塊時,請使用全螢幕模式。
產生的輸出上提供複製按鈕,因此可以在程式碼、文件或支援聊天中重複使用結果。
大多數的操作都是確定性:相同的輸入和選項會產生相同的輸出。
對於敏感內容,最好使用本機瀏覽器工具並在進一步分享之前查看結果。