# User-agent: 搜索机器人的名称，* 泛指所有的搜索机器人；
# Disallow: 不允许访问的文件目录。
# 绝大多数的搜索引擎机器人都遵守robots.txt的规则，
# 而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持
# <meta name="googlebot" content="index,follow,noarchive" />
User-Agent: *
Disallow: /wap/
Disallow: /image/

# Spider访问频率
# Sogou  60987
# Google 54544
# Yahoo  30950
# Baidu  13022
# Youdao  7101
# Soso      43