Генератор на robots.txt

Всички инструменти

Изградете коректен robots.txt с правила allow/disallow, crawl-delay и директиви sitemap чрез удобни предварителни настройки. Безплатно и работи във вашия браузър.

Изградете чист robots.txt направо във вашия браузър. Нищо не се качва — всичко се генерира локално.

Конструктор
Бързи предварителни настройки
Групи user-agent
Карти на сайта
robots.txt 

						

						

							Поставете този файл в корена на сайта си, за да е достъпен на https://your-site.com/robots.txt
						

					

				

			

		

	


        
                    

		


					
За Генератор на robots.txt

							
Този генератор на robots.txt изгражда синтактично коректен robots.txt файл от групи по потребителски агент, всяка със собствени пътища Allow и Disallow и незадължително Crawl-delay. Добавете колкото групи са ви нужни — група с шаблон * за всички обхождащи роботи плюс специфични правила за отделни ботове — и изброете една или повече Sitemap директиви в края.

							
Бързите пресети покриват честите отправни точки: разреши всичко, блокирай всичко, разумна конфигурация за WordPress, и списък за блокиране на често срещани ботове. Започнете от пресет, след което коригирайте пътищата спрямо структурата на сайта си.

							
Файлът се генерира локално в браузъра ви и никога не се качва. Копирайте резултата или изтеглете robots.txt, след което го поставете в корена на сайта си, за да могат обхождащите роботи да го намерят на https://вашия-сайт.com/robots.txt — тази точна локация е единствената, която търсачките проверяват.

					
					
Как да използвате Генератор на robots.txt

			
    
									
  1. По желание започнете от пресет: Разреши всичко, Блокирай всичко, WordPress, или Блокирай често срещани ботове.
    2. 
									
  2. Редактирайте потребителския агент за всяка група (например * или Googlebot) и добавете пътища Disallow и Allow.
    3. 
									
  3. Задайте незадължително Crawl-delay в секунди и добавете още групи за други обхождащи роботи, ако е нужно.
    4. 
									
  4. Добавете URL адресите на sitemap-а си, за да могат обхождащите роботи да ги открият.
    5. 
									
  5. Копирайте резултата или изтеглете robots.txt и го качете в корена на сайта си.
    6. 
							

		
					
Често задавани въпроси

			

									

						

							
						

						

							
В корена на хоста, напр. https://example.com/robots.txt. Обхождащите роботи заявяват само този път — robots.txt в подпапка се игнорира.

						

					

									

						

							
						

						

							
Disallow блокира обхождането на съответстващи пътища за тази група потребителски агент; Allow отново разрешава подпът в рамките на блокирана област, например разрешаване на /admin/help/ под блокирано /admin/.

						

					

									

						

							
						

						

							
Не надеждно. Той спира обхождането, но вече известни URL адреси все още могат да се появят без откъс. За да задържите страница извън индекса, използвайте noindex robots мета таг и оставете страницата да бъде обходена.

						

					

									

						

							
						

						

							
Не. Някои обхождащи роботи го спазват, но Googlebot игнорира тази директива — скоростта на обхождане за Google се управлява през Search Console. Тя остава полезна за други ботове.

						

					

									

						

							
						

						

							
Безплатен е, а файлът се изгражда изцяло в браузъра ви — правилата, които въвеждате, никога не се изпращат до сървър.

						

					

							


						
			


	



	
	

		

		

			Сподели
							
					
				
							
					
				
							
					
				
							
					
				
							
					
				
							
					
				
							
					
				
							
					
				
							
					
				
					

	



    
	
	

				
Свързани инструменти


					

									

						
							
							
								
									Генератор на XML карта на сайта
									
								
								Превърнете списък с URL адреси във валидна XML карта на сайта с lastmod, changefreq и priority, готова за подаване към търсачките. Безплатно, във вашия браузър.
								
																			Безплатно
																	
							
						
					

									

						
							
							
								
									Генератор на мета тагове
									
								
								Изградете пълен набор от SEO HTML мета тагове — title, description, robots, canonical, viewport и други — с жив преглед в Google. Безплатно, във вашия браузър.
								
																			Безплатно
																	
							
						
					

									

						
							
							
								
									Генератор на .htaccess
									
								
								Сглобете често използвани правила за Apache .htaccess — пренасочвания към HTTPS и www, кеширане, компресия, заглавки за сигурност и други — с едно кликване. Безплатно, във вашия браузър.
								
																			Безплатно
																	
							
						
					

									

						
							
							
								
									HTTP кодове за състояние
									
								
								Потърсете всеки HTTP код за състояние на отговора (1xx–5xx) в директория с търсене и филтриране — после отворете всеки код, за да видите какво означава, кога да го използвате, дали може да се кешира и RFC, който го дефинира. В браузъра, безплатно.
								
																			Безплатно
																	
							
						
					

									

						
							
							
								
									HTTP методи
									
								
								Прегледен справочник за всеки HTTP метод на заявка — GET, POST, PUT, PATCH, DELETE и останалите, плюс WebDAV — показващ с един поглед дали всеки е безопасен, идемпотентен и кешируем, дали приема тяло, и типичен пример. В браузъра, безплатно.
								
																			Безплатно
																	
							
						
					

									

						
							
							
								
									Справочник за HTTP заглавки
									
								
								Потърсете често срещани HTTP заглавки на заявка и отговор в директория с търсене — филтрирайте по посока и категория, прочетете еднореден опис и реалистичен пример, и копирайте всяко име на заглавка с едно щракване. В браузъра, безплатно.
								
																			Безплатно
																	
							
						
					

							

			







		

			

				

					
					

						
Нуждаете се от помощ?

						
Открихте проблем с този инструмент? Кажете ни.

					

				

				
					Докладване на проблем
				
			

		

	





        

            

                

                    
                

                

                    

                        
Добавете този безплатен инструмент към собствения си уебсайт — копирайте и поставете кода по-долу.