Robots.txt 生成器
生成简单 robots.txt 文件。
为 staging、文档、落地页和 SEO 检查创建爬虫指令,不用手写每一行。
无需登录
表单兜底
复制/下载
robots.txt 结果
User-agent: *
Disallow: /admin/
Allow: /public/
Crawl-delay: 5
Sitemap: https://tempkit.io/sitemap.xml
- User-agent
- *