User-agent: * Allow: / #указывает, для каких роботов установлены директивы