Etiket: robots.txt nasıl kullanılır

Robots.txt dosyası, web sitenizin hangi sayfalarının arama motoru örümcekleri tarafından indekslenemeyeceğini belirten bir metin dosyasıdır. Bu dosya, web sitenizin […]