robots.txt的作用是()。
A:禁止搜索引擎蜘蛛抓取特定URL
B:给搜索引擎蜘蛛提供网站地图文件
C:以上都对
出自:百度SEM认证