Érdekes robots.txt a reddit.com-on

Reddit robots.txt tiltás

A Google kereső legutóbbi frissítéseinek egyik furcsa következménye volt, hogy a reddit.com már-már indokolatlanul sokszor jelent meg a találati listákban. Ez azonban talán változni fog, mert a Reddit üzemeltetői úgy döntöttek, hogy a továbbiakban nem engedik indexelni a felhasználóik által létrehozott tartalmakat. Ez a lépésük nem kis meglepetést okozott.

A reddit.com oldal robots.txt állományában számos robot tiltása szerepelt eddig is, de a most közzétett állománnyal gyakorlatilag mindent kitiltottak. Kommentek nélkül csak az alábbi két sor marad a robots.txt-ből.

User-agent: *
Disallow: /

Ez azt jelenti, hogy a Reddit tartalmai a továbbiakban csak emberi látogatók számára lesznek legálisan elérhetőek.

A Reddit közleményében a lépést azzal indokolta, hogy a tartalmaikat csak a jóhiszemű szereplők számára szeretnék elérhetővé tenni. Valószínűleg azonban ennél többről van szó.

Mi az oka a reddit.com tiltásának?

A dolog megértéséhez fontos tudni, hogy a Reddit értékes forgalmát leginkább az elkötelezett, visszatérő látogatók adják. Az organikus, keresőkből érkező látogatók által generált forgalomból csak a bevételek elenyésző hányada származik. Felismerték viszont azt, hogy a felhasználók által létrehozott tartalmak ennél sokkal komolyabb értéket képviselnek.

Idén február elején nagy port kavart a hír, hogy a Reddit és a Google 60 millió dolláros szerződést kötött. A keresőóriás a nem kis összegért cserébe hozzáférést kapott a Redditen közzétett tartalmakhoz, hogy azokat elemzéseihez, kutatásaihoz felhasználhassa.

Nyilvánvaló, hogy ezután elég furcsa helyzet volna, ha a dollármilliókért értékesített tartalmak ingyen is bárkinek a rendelkezésére állnának. A Redditnek tehát lépnie kellett, és valószínűleg ez a legfőbb magyarázata a drasztikus tiltásnak.

A felhasználók által generált tartalmak értékesítése jogilag rendben van, hiszen a „Public Content Policy” dokumentumban ennek a lehetősége egyértelműen meghatározott. A Redditorok elfogadták ezt a regisztrációkor. Más kérdés, hogy ettől még etikailag kifogásolhatónak érzem.

A tiltásnak lesznek pozitív hatásai is

A SEO szakembereknek a fentiek ellenére egy örömteli hír lehet a tiltás. Az utóbbi időben sokunkat kergetett az őrületbe a jelenség, amikor a minden szempontból optimális tartalmaink csak 10 éves, 2 poénkodó hozzászólással kísért Reddit bejegyzések után kerültek elő.

Talán mindenkinek jobb lesz így!

Frissítés #1

Többen jelezték, hogy a Google hálózatából még a robots.txt egy régebbi változata érhető el, amely a fenti tiltást nem tartalmazza. Egyelőre nem tudjuk, hogy a kérdéses robots.txt fájlból valóban más verziót kapnak a Google szerverei, vagy csak a frissebb verzió nem terjedt még el a teljes Reddit hálózaton.

Frissítés #2

Úgy tűnik, hogy a Google hálózata felé még 2 hét után is a régebbi, tiltást nem tartalmazó robots.txt fájlt közvetítik a Reddit szerverei. Egyetértek azokkal, akik szerint ez egy igencsak etikátlan, cloaking kategóriába eső technika. A Redditnek persze nem kell aggódni a kereső büntetései miatt. A cég etikátlan magatartása talán sok Reddit felhasználót elgondolkodtat. Vajon más területeken is ennyire semmibe veszik az Internet írott és íratlan szabályait?

További információ:

Legújabb cikkeink