Google’ın her zaman öncelikli işi arama olmuştur ve şimdi bunun bir bölümünü internet standardı haline getirmek istiyor.
İnternet devi, 25 yıl sonra robotları hariç bırakma protokolü olan (robots.txt olarak bilinir ) internet dışlama standardı haline dönüştürmeyi planlıyor.
Google, “Web sitesi sahiplerine ve geliştiricilere, tarayıcıları nasıl kontrol edecekleri konusunda endişe etmek yerine internette şaşırtıcı deneyimler oluşturmalarına yardımcı olmak istedik” diyor. “Protokolün asıl yazarı, webmasterları ve diğer arama motorlarıyla birlikte, REP’nin modern web’de nasıl kullanıldığını belgeledim ve IETF’e sunduk.”
REP, web arama motorlarının temel taşlarından biridir ve web sitesi sahiplerinin sunucu kaynaklarını daha kolay yönetmelerine yardımcı olur. Web botları (Googlebot gibi), Google ve diğer arama motorlarının interneti rutin olarak nasıl taradıklarını ve yeni web sayfalarını keşfetdiklerini ve bilinen sayfalar listesine eklediklerini göstermektedir.
Bu botlar ayrıca web sayfalarını periyodik olarak kaydetmek ve arşivlemek için Wayback Machine gibi siteler tarafından da kullanılır ve belirli web sitelerinden gelen verileri analitik amaçlar amacıyla tasarlanabilir.
To help developers create parsers that reflect the Robots Exclusion Protocol requirements, we're releasing our robots.txt parser as open source!
Updated to cover all corner cases, the parser ensures that Googlebot only crawls what it's allowed to.https://t.co/NmbLRzDkHF
— Google Search Central (@googlesearchc) July 1, 2019
Bir web sitesinin robots.txt dosyası, otomatik olarak tarayıcılara, hangi içeriğin taranacağı ve neyin hariç tutulacağı hakkında bilgi verir, böylece gereksiz sayfaların dizine alınmasını ve sunulmasını minimuma indirir. Ayrıca, tarayıcıların belirli klasörlerde depolanan gizli bilgileri ziyaret etmesini yasaklayabilir ve bu dosyaların diğer arama motorları tarafından indexlenmesini önleyebilir.
Google, robots.txt dosyasını deşifre etmek için kullanılan ayrıştırıcıyı açık bir şekilde kullanarak, kurallar oluşturmak ve ayrıştırmak için standartlaştırılmış bir sözdizimi oluşturarak tüm karışıklıkları gidermeyi amaçlamaktadır.
Google bir blog yazısında “Bu, web sitesi sahipleri için zor bir problem çünkü belirsiz fiili standart kuralları doğru yazmayı zorlaştırmaktadır” dedi.
Robots.txt standardı şu anda taslak aşamasındadır ve Google, geliştiricilerden geri bildirim beklemektedir. Standart, web içerik oluşturucularının “Googlebot’a ne kadar bilgi sağlamak istediklerini ve bununla birlikte, Arama’da görünmeye uygun olmalarını isterler.”
