Címke: robots.txt
-
Új CloudFlare eszköz az AI botok ellen
Elolvasom: Új CloudFlare eszköz az AI botok ellenA CloudFlare új beállítási lehetőséget vezetett be, mely megkönnyíti az AI botok kiszűrését. A probléma koránt sem kicsi, így a lépés indokolt volt.
-
Érdekes robots.txt a reddit.com-on
Elolvasom: Érdekes robots.txt a reddit.com-onA Reddit üzemeltetői úgy döntöttek, hogy a továbbiakban nem engedik a robot hozzáférést a tartalmaikhoz. A lépésük nem kis meglepetést okozott.