robots.txt Oluşturucu

Tüm araçlar

Kullanışlı ön ayarlarla allow/disallow kuralları, crawl-delay ve sitemap yönergeleri içeren doğru bir robots.txt oluşturun. Ücretsiz ve tarayıcınızda çalışır.

Doğrudan tarayıcınızda temiz bir robots.txt oluşturun. Hiçbir şey yüklenmez — her şey yerel olarak oluşturulur.

Oluşturucu
Hızlı ön ayarlar
User-agent grupları
Sitemaps
robots.txt 

						

						

							Bu dosyayı, https://your-site.com/robots.txt adresinden erişilebilir olması için sitenizin kök dizinine yerleştirin
						

					

				

			

		

	


        
                    

		


					
robots.txt Oluşturucu Hakkında

							
Bu robots.txt oluşturucu, her biri kendi Allow ve Disallow yollarına ve isteğe bağlı bir Crawl-delay'e sahip user-agent gruplarından söz dizimi açısından doğru bir robots.txt dosyası oluşturur. İhtiyacınız kadar grup ekleyin — tüm tarayıcılar için bir joker * grubu ile birlikte belirli botlar için özel kurallar — ve sona bir veya daha fazla Sitemap yönergesi listeleyin.

							
Hızlı ön ayarlar yaygın başlangıç noktalarını kapsar: her şeye izin ver, her şeyi engelle, makul bir WordPress yapılandırması ve yaygın botlar için bir engelleme listesi. Bir ön ayardan başlayın, ardından yolları site yapınıza göre ayarlayın.

							
Dosya tarayıcınızda yerel olarak oluşturulur ve hiçbir zaman yüklenmez. Çıktıyı kopyalayın veya robots.txt'yi indirin, ardından tarayıcıların onu https://siteniz.com/robots.txt adresinde bulabilmesi için site kök dizininize yerleştirin — arama motorlarının kontrol ettiği tek konum tam olarak burasıdır.

					
					
robots.txt Oluşturucu Nasıl Kullanılır

			
    
									
  1. İsteğe bağlı olarak bir ön ayardan başlayın: Tümüne izin ver, Tümünü engelle, WordPress veya Yaygın botları engelle.
    2. 
									
  2. Her grup için user-agent'ı düzenleyin (örneğin * veya Googlebot) ve Disallow ile Allow yollarını ekleyin.
    3. 
									
  3. İsteğe bağlı olarak saniye cinsinden bir Crawl-delay ayarlayın ve gerekirse diğer tarayıcılar için daha fazla grup ekleyin.
    4. 
									
  4. Tarayıcıların bulabilmesi için sitemap URL'lerinizi ekleyin.
    5. 
									
  5. Sonucu kopyalayın veya robots.txt'yi indirin ve site kök dizininize yükleyin.
    6. 
							

		
					
Sıkça sorulan sorular

			

									

						

							
						

						

							
Ana bilgisayarın kök dizininde, ör. https://example.com/robots.txt. Tarayıcılar yalnızca o yolu isteği; bir alt dizindeki robots.txt yok sayılır.

						

					

									

						

							
						

						

							
Disallow, o user-agent grubu için eşleşen yolların taranmasını engeller; Allow ise engellenmiş /admin/ altında /admin/help/'e izin vermek gibi, engellenmiş bir alanın içindeki bir alt yola yeniden izin verir.

						

					

									

						

							
						

						

							
Güvenilir biçimde hayır. Taramayı durdurur, ama zaten bilinen URL'ler snippet olmadan görünmeye devam edebilir. Bir sayfayı indeks dışında tutmak için noindex robots meta etiketi kullanın ve taranmasına izin verin.

						

					

									

						

							
						

						

							
Hayır. Bazı tarayıcılar buna uyar, ancak Googlebot bu yönergeyi yok sayar — Google için tarama hızı bunun yerine Search Console üzerinden yönetilir. Diğer botlar için yine de kullanışlıdır.

						

					

									

						

							
						

						

							
Ücretsizdir ve dosya tamamen tarayıcınızda oluşturulur — girdiğiniz kurallar sunucuya asla gönderilmez.

						

					

							


						
			


	



	
	

		

		

			Paylaş
							
					
				
							
					
				
							
					
				
							
					
				
							
					
				
							
					
				
							
					
				
							
					
				
							
					
				
					

	



    
	
	

				
İlgili Araçlar


					

									

						
							
							
								
									XML Site Haritası Oluşturucu
									
								
								Bir URL listesini lastmod, changefreq ve priority içeren geçerli bir XML site haritasına dönüştürün, arama motorlarına göndermeye hazır. Ücretsiz, tarayıcınızda.
								
																			Ücretsiz
																	
							
						
					

									

						
							
							
								
									Meta Etiket Oluşturucu
									
								
								Eksiksiz bir SEO HTML meta etiketi seti oluşturun — title, description, robots, canonical, viewport ve daha fazlası — canlı bir Google önizlemesiyle. Ücretsiz, tarayıcınızda.
								
																			Ücretsiz
																	
							
						
					

									

						
							
							
								
									.htaccess Oluşturucu
									
								
								Yaygın Apache .htaccess kurallarını bir araya getirin — HTTPS ve www yönlendirmeleri, önbellekleme, sıkıştırma, güvenlik başlıkları ve daha fazlası — tek tıklamayla. Ücretsiz, tarayıcınızda.
								
																			Ücretsiz
																	
							
						
					

									

						
							
							
								
									HTTP Durum Kodları
									
								
								Her HTTP yanıt durum koduna (1xx–5xx) aranabilir, filtrelenebilir bir dizinde bakın — ardından herhangi bir kodu açarak ne anlama geldiğini, ne zaman kullanılacağını, önbelleğe alınabilir olup olmadığını ve onu tanımlayan RFC'yi görün. Tarayıcınızda, ücretsiz.
								
																			Ücretsiz
																	
							
						
					

									

						
							
							
								
									HTTP Yöntemleri
									
								
								Her HTTP istek yöntemi için taranabilir bir referans — GET, POST, PUT, PATCH, DELETE ve diğerleri, ayrıca WebDAV — her birinin güvenli, idempotent ve önbelleğe alınabilir olup olmadığını, gövde alıp almadığını ve tipik bir örneği bir bakışta gösterir. Tarayıcınızda, ücretsiz.
								
																			Ücretsiz
																	
							
						
					

									

						
							
							
								
									HTTP Başlıkları Referansı
									
								
								Yaygın HTTP istek ve yanıt başlıklarına aranabilir bir dizinde bakın — yöne ve kategoriye göre filtreleyin, tek satırlık bir açıklama ve gerçekçi bir örnek okuyun ve herhangi bir başlık adını tek tıkla kopyalayın. Tarayıcınızda, ücretsiz.
								
																			Ücretsiz
																	
							
						
					

							

			







		

			

				

					
					

						
Yardıma mı ihtiyacınız var?

						
Bu araçta bir sorun mu buldunuz? Ekibimize bildirin.

					

				

				
					Sorun bildir
				
			

		

	





        

            

                

                    
                

                

                    

                        
Bu ücretsiz aracı kendi web sitenize ekleyin — aşağıdaki kodu kopyalayıp yapıştırın.