Na úrovni jednotlivých měřítkách se dodatečné zatížení jeví jako zanedbatelné, avšak na úrovni hromadných Scraperů se kumuluje a zvyšuje náklady na scraping.
V konečném důsledku jde o dočasné řešení, které umožňuje strávit více času fingerprintingem a identifikací headless prohlížečů (např. prostřednictvím toho, jak provádějí vykreslování fontů), aby stránka s důkazem práce (challenge proof of work) nebyla zobrazována uživatelům, kteří jsou výrazně pravděpodobně legitimní.
Je třeba poznamenat, že Anubis vyžaduje použití moderních funkcí JavaScriptu, které pluginy jako JShelter mohou zakázat.
Kontext a význam pojmů
Vysvětlení pojmu „load“ se týká dodatečného zatížení systému při scrapingových operacích, což má dopad na výkon a náklady infrastruktury.
„Fingerprinting“ označuje techniky identifikace charakteristik uživatelského prostředí, včetně způsobu vykreslování fontů, které lze využít k rozlišení legitimních prohlížečů od headless verzí.
„Headless prohlížeče“ bývají používány nástroji pro automatizaci a scraping, avšak často vykazují specifické vzory chování, které lze detekovat pomocí moderních JS funkcí a dalších environmentálních znaků.
Dopady na design a bezpečnost stránek
Rozumné řízení zátěže na masivní scraping je klíčové pro udržení dostupnosti a snížení nákladů.
Strategie založené na fingerprintingu umožňují lépe rozlišovat mezi legitimními uživateli a automaty, čímž lze minimalizovat potřebu zobrazovat výzvu s důkazem práce na širokém spektru návštěvníků.
Praktické implikace pro vývojáře
Implementace moderních JavaScriptových prvků může poskytnout efektivní nástroj pro detekci headless prohlížečů, avšak vyžaduje zohlednění kompatibility a potenciálních rizik spojených s bezpečností a soukromím.
V kontextu použití Anubisu je klíčové zvážit, jaké funkce JS mohou být deaktivovány pluginy, a jak to ovlivní robustnost detekčních metod.
Zásady a doporučení pro provozovatele
- Vyvažovat zatížení a bezpečnostní rizika při masivních scrapech pomocí cílených technik fingerprintingu.
- Zvážit použití méně invazivních metod rozpoznání než plnou výzvu s důkazem práce pro méně pravděpodobné návštěvníky.
- Řídit kompatibilitu s moderními JavaScriptovými funkcemi a zohlednit omezení ze strany pluginů a prohlížečů.
- Definovat, kdy je zatížení zanedbatelné a kdy již představuje významný náklad.
- Implementovat postupy identifikace headless prohlížečů s ohledem na výkon a uživatelskou zkušenost.
- Udržovat flexibilitu v implementaci tak, aby nebylo nutné zobrazovat výzvu pro ověřené uživatele.
Možný doprovodný vizuál
Důsledky pro etiku a uživatelská data
Detekce a fingerprinting vyvolávají diskuse o ochraně soukromí a minimálním zásahu do uživatelské zkušenosti, proto je důležité vyvažovat bezpečnostní benefity s respektováním práv uživatelů.