一:robots基础知识robots协议（也称爬虫协议、机器人协议等），“全称是网络爬虫扫除规范“（Robots Exclusion Protocol），网站经过robots协议通知搜索引擎哪些页面能够抓取，哪些页面不能够抓取。Robot.txt的效果？