AnQiCMS支持自定义robots.txt文件，控制搜索引擎爬虫行为。
robots.txt作用
robots.txt文件告诉搜索引擎哪些页面可以抓取，哪些禁止抓取。优化搜索引擎对网站的索引。
默认配置
AnQiCMS提供默认的robots.txt配置，允许搜索引擎抓取公开内容。一般情况无需修改。
自定义配置
可在后台编辑robots.txt内容，添加Disallow规则禁止特定目录或页面的抓取。如管理后台、搜索结果页等。
Sitemap声明
建议在robots.txt中添加Sitemap地址，帮助搜索引擎发现Sitemap文件。如：Sitemap: https://www.example.com/sitemap.xml
测试验证
配置完成后，使用百度站长平台或Google Search Console的robots.txt测试工具验证配置是否正确。