A CloudFlare egy új beállítási lehetőséget vezetett be, mellyel megkönnyíti a felhasználók számára az AI botok kiszűrését. Az AI probléma koránt sem elhanyagolható, így ez a lépés maximálisan indokolt volt részükről.
Az AI lufi túlságosan sok befektetőt szippantott be, emiatt egyre több cég jelent és jelenik meg ezen a piacon. Sajnos, ezek nagy része úgy gondolja, hogy az Interneten elérhető tartalmakat szabadon letölthetik és felhasználhatják a saját generatív AI rendszereik betanítására. Az AI villámgyorsan terjedt el, és a hathatós jogi szabályozás egyelőre csak kullog az események után.
Problémák az AI robotokkal
Tény, hogy napról-napra több AI robot töltögeti le a weblapjainkat. Ha a szerzői jogi problémákat elengedjük, ezek akkor is fölöslegesen terhelik a szervereinket. Forgalmi díjas csomagok esetén minden egyes letöltés növeli a weblap üzemeltetési költségeit.
Sok AI robot a robots.txt állományban foglalt tiltásokkal nem foglalkozik. Sőt, a tiltásukat megnehezítendő, egyre több még egyedi user-agent stringet sem használ. A CloudFlare hálózatain azonban a lekérési minták alapján ezek is azonosíthatóak.
A CloudFlare miattuk vezette be az új AI robotokat célzó szűrés lehetőségét, amely már az alap, ingyenes csomagban is beállítható.
CloudFlare AI szűrő beállítása
Az ingyenes csomagok esetén a Security / Bots menüpont alatt találhatjátok meg az AI bot szűrés lehetőségét. Csak egy ki/bekapcsolási lehetőség van, különösebb testreszabási lehetőséget itt nem kapunk.
A fizetős csomagok esetén ugyanezt a beállítást a „Configure Super Bot Fight Mode” alatt találhatjátok.
Ha az aktív szűrő mellett is találtok AI robotokra utaló forgalmat, akkor egy CloudFlare feedback formon keresztül jelezhetitek ezt. Várhatóan emiatt is napról-napra hatékonyabbá válik majd a szűrés.
További információ:
