Back to Question Center
0

Semalt: Nola Darodar Robots.txt blokeatzea

1 answers:

Robots.txt fitxategiak testu-fitxategi tipiko bat dauka, web arakatzaileak edo botek gune bat nola arakatu behar duten argibideak dituena. Aplikazioa begi bistakoa da bilaketa-motorrean , webgune optimizatu ugarietan ohikoak direnak. Robots baztertzeko protokoloaren (REP) baitan, robots.txt fitxategiak webguneen edukia indexatzeko alderdi funtsezkoa osatzen du, baita zerbitzari bat erabiltzaileen eskaerak autentifikatzeko gaitasuna ere .

Julia Vashneva, Semalt Senior Bezeroaren Arrakastaren Arduraduna, bilaketaren alderdi bat da Search Engine Optimizaziorako (SEO) alderdi bat dela eta, zure nitxoaren barruan beste domeinu batzuetako trafikoa irabaztea dakar. Lotu zukua transferitzeko esteken "segimendurako" lortzeko, ezinbestekoa da zure webguneko ostalariaren espazioko robota.txt fitxategi bat sartzea, zerbitzariak zure webgunearekin nola funtzionatzen duen aztertzeko. Artxibo honetatik, argibideak daude agente eragile zehatz batzuei nola uzteko edo debekatzeko.

Robot.txt fitxategi baten oinarrizko formatua

Robot.txt fitxategi batek bi lerro funtsezko ditu:

Erabiltzailearen agente: [erabiltzaile-agentearen izena]

Ezeztatu: [URLa kateatu gabe arakatu]

Robot.txt fitxategi oso batek bi lerro hauek eduki behar ditu. Hala ere, horietako batzuk erabiltzaile-eragile eta zuzentarau lerro ugari izan ditzakete. Komando horiek aukera ematen dutenak, debekuak edo arakatzeko atzerapenak izan ditzakete. Normalean instrukzio multzo bakoitza bereizten duen lerro jauzia izaten da. Instrukzioak baimendu edo ez onartzeko, lerro hauen arabera bereizten da, batez ere robots.txt lerro anitzekin .

adibideak

Esate baterako, robots.txt fitxategi batek kode hauek eduki ditzake:

Erabiltzaile-agente: darodar

Desautatu: / plugin

Desautatu: / API

Ezgaitu: / _rekin

Kasu honetan, hau da, robots.txt fitxategi bat blokeatzen du Darodar web arakatzailea zure webgunera sartzeko. Aurreko sintaxian, kodeak webaren alderdiak blokeatzen ditu, esate baterako, pluginak, APIak eta iruzkinak atala. Ezagutza horretatik, robotaren testu-fitxategia modu eraginkorrean exekutatzeko abantaila ugari lor ditzakezu. Robotak..txt fitxategiak hainbat funtzio egin ditzake. Adibidez, prest egon daitezke:

1. Onartu web arakatzaileen edukia web orrialde batean. Esate baterako;

Erabiltzaile agente: *

Debekatu:

Kasu honetan, web orri batera eska daitekeen edozein web arakatzaileren bidez sar zaitezke erabiltzaileen edukia.

2. Blokeatu karpeta jakin bateko web eduki jakin bat. Adibidez;

Erabiltzaile-agente: Googlebot

Ezgaitu: / example-subfolder /

Erabiltzaile-agentearen izena Googlebot-ekin sintaxi hau Google-k dagokio. Bot-ek web orrialdean sartzeko katea mugatzen du www.ourexample.com/example-subfolder/.

3. Web orrialde zehatz batetik web arakatzaile jakin bat blokeatu. Adibidez;

Erabiltzailearen agente: Bingbot

Ez onartu: /example-subfolder/blocked-page.html

Erabiltzailearen agente Bing bot Bing web crawlers da. Robotek.txt fitxategi mota honek Bing web arakatzailea murrizten du orrialde bat sartzeko katearekin www.ourexample.com/example-subfolder/blocked-page.

Informazio garrantzitsua

  • Erabiltzaile bakoitzak ez du zure robts.txt fitxategia erabiltzen. Erabiltzaile batzuek ez ikusi egin dezakete. Web arakatzaile horietako gehienak Trojans eta malwarea dira.
  • Robots.txt fitxategia ikusgai izateko, goi-mailako webguneko direktorioa eskuragarri egon beharko luke.
  • "robots.txt" karaktereak maiuskulak eta minuskulak bereizten dituzte. Ondorioz, ez zenuke inolaz ere aldatu alderdi batzuen kapitalizazioa barne
  • .
  • "/robots.txt" domeinu publikoa da. Edonork informazio hori topatu ahal izan dezake URL edozein edukietara gehitzen denean. Ezin duzu pribatuan gorde nahi dituzun oinarrizko xehetasunak edo orrialdeak indexatu.
November 29, 2017
Semalt: Nola Darodar Robots.txt blokeatzea
Reply