什么是robot?robots.txt有什么作用?

1 人评论
作者: fraiy  分类: 互联网动态  浏览:

自从360推出搜索引擎之后,从各方面数据来看,360搜索市场份额迅速超过SOSO、搜狗,甚至也领先Google;3B大战也正式打响,百度新闻首页大标题指责360违反robot协议暴力抓取,同时还引用了搜狗公司首席执行官王小川的话:“欢迎360做搜索,行业更加开放,给网民更多选择。而robot.txt是行业自律,应该遵守,除非政府另有规定。”

那么什么是Robot?robot.txt有什么作用......