Tengeneza robots.txt sahihi yenye sheria za allow/disallow, crawl-delay na maagizo ya sitemap ukitumia mipangilio rahisi. Bure na hufanya kazi kwenye kivinjari chako.

Tengeneza robots.txt nadhifu moja kwa moja kwenye kivinjari chako. Hakuna kinachopakiwa — kila kitu huzalishwa ndani.

Mjenzi
Mipangilio ya haraka
Vikundi vya User-agent
Ramani za tovuti
robots.txt

						

Weka faili hili kwenye mzizi wa tovuti yako ili lipatikane kwenye https://your-site.com/robots.txt


Kuhusu Kizalishi cha robots.txt

Kikatishi hiki cha robots.txt kinaunda faili la robots.txt lenye sintaksia sahihi kutoka kwa vikundi vya user-agent, kila kimoja kikiwa na njia zake za Allow na Disallow na Crawl-delay ya hiari. Ongeza vikundi vingi kadri unavyohitaji — kikundi cha wildcard * kwa watambaji wote pamoja na kanuni maalum kwa boti binafsi — na orodhesha maelekezo moja au zaidi ya Sitemap mwishoni.

Mipangilio ya haraka inashughulikia sehemu za mwanzo za kawaida: ruhusu kila kitu, zuia kila kitu, mpangilio mzuri wa WordPress, na orodha ya kuzuia boti za kawaida. Anza na mpangilio, kisha rekebisha njia zilikane na muundo wa tovuti yako.

Faili linazalishwa ndani ya kivinjari chako na kamwe halipakiwi. Nakili matokeo au pakua robots.txt, kisha uliweke kwenye mzizi wa tovuti yako ili watambaji walipate kwenye https://your-site.com/robots.txt — hiyo ndiyo eneo pekee ambalo injini za utafutaji zinaangalia.

Jinsi ya kutumia Kizalishi cha robots.txt

  1. Kwa hiari, anza na mpangilio: Allow all, Block all, WordPress, au Block common bots.
  2. Hariri user-agent ya kila kikundi (kwa mfano * au Googlebot) na uongeze njia za Disallow na Allow.
  3. Weka Crawl-delay ya hiari kwa sekunde na uongeze vikundi zaidi kwa watambaji wengine ikihitajika.
  4. Ongeza URL za sitemap yako ili watambaji waweze kuzigundua.
  5. Nakili matokeo au pakua robots.txt, na ulipakie kwenye mzizi wa tovuti yako.

Maswali yanayoulizwa mara kwa mara

Kwenye mzizi wa mwenyeji, mfano https://example.com/robots.txt. Watambaji wanaomba njia hiyo tu — robots.txt kwenye saraka ndogo hupuuzwa.

Disallow inazuia utambaji wa njia zinazolingana kwa kikundi hicho cha user-agent; Allow inaruhusu tena njia ndogo ndani ya eneo lililozuiwa, kama vile kuruhusu /admin/help/ ndani ya /admin/ iliyozuiwa.

Si kwa uhakika. Inasimamisha utambaji, lakini URL zinazojulikana tayari zinaweza kuendelea kuonekana bila maelezo. Ili kuweka ukurasa nje ya index, tumia lebo ya meta ya noindex na uache utambwe.

Hapana. Baadhi ya watambaji wanaheshimu, lakini Googlebot inapuuza maelekezo hayo — kasi ya utambaji kwa Google inasimamiwa kupitia Search Console badala yake. Bado ina manufaa kwa boti nyingine.

Ni bure, na faili linaundwa kabisa ndani ya kivinjari chako — kanuni unazoingiza haitumwi kamwe kwa seva.

Unahitaji msaada?
Umepata tatizo na zana hii? Tujulishe timu yetu.
Ripoti tatizo

Ongeza zana hii ya bure kwenye tovuti yako mwenyewe — nakili na ubandike msimbo ulio hapa chini.