CloudFlare Robots.txt Müdahalesi

Varsayılan ayarlar ile cloudflare kurulumu yapıp web sitenizi yayına aldığınızda, cloudflare rotbots.txt dosyasını değiştirerek, AI botlarının web sitenizi okumasını engeller. Eğer böyle bir engelleme yapmasını istemiyorsanız, cloudflare'da ilgili domaine tıkladıktan sonra açılan pencerenin sağ sütununa yer alan "control ai crawlers" alanında aşağıdaki seçenekleri yapmalısınız.

Control AI crawlers

Block AI training bots Deploys a Cloudflare-managed rule to block bots that we categorize as AI training crawlers from visiting your site. -> Do not block (allow crawlers)

Manage your robots.txt Set how Cloudflare manages your robots.txt file, which tells bots and crawlers how they should interact with your site. -> Disable robots.txt configuration

Cloudflare Robots Txt Mudahale