Na individuální úrovni se dodatečné zatížení může jevit jako zanedbatelné, ale na úrovni masového scrapování se postupně nasčítává a zvyšuje náklady na scraping.
Toto je dočasné východisko, které má umožnit více času na fingerprinting a identifikaci headless prohlížečů (např. prostřednictvím toho, jak provádějí renderování fontů), aby se výzva s prokazováním práce (proof of work) nemusela předkládat uživatelům, kteří jsou pravděpodobně legitimní.
V praxi tedy platí, že na nižších rychlostech a menších objemech provozu je možné zatížení ignorovat, avšak při vysokých škálách se kumuluje a zvyšuje náklady na provozování skriptů.
Kontext a motivace
Problematika spočívá v tom, že moderní nástroje pro scraping často vyžadují efektivní rozpoznávání a minimalizaci rizik, která souvisejí s tím, zda je prohlížeč skutečný uživatel či headless nástroj.
Plánovaná strategie počítá s postupným zjednodušením zátěže a souběžným zrychlováním identifikace prostředí, aby se zlepšila uživatelská zkušenost pro legitimní návštěvníky.
Technické poznámky
Anubis vyžaduje použití moderních funkcí JavaScriptu, které plug-iny jako JShelter mohou zakázat.
To znamená, že ochranné mechanismy musí být navrženy s ohledem na pokročilé techniky detekce a robustní ověřování identity uživatelů, aniž by se zbytečně omezovala legitimní návštěvnost.
Důsledky pro implementaci
V praxi to znamená, že správná rovnováha mezi bezpečností a uživatelskou přívětivostí vyžaduje systematické testování výkonu a iterativní adaptaci ochranných mechanismů.
Koherence provedení spočívá v tom, že překážky ve formě požadavků na výpočetní výkon by měly být relevantní pro podezřelou aktivitu, nikoli pro běžné uživatele.
- Identifikace headless prohlížečů prostřednictvím analýzy renderování fontů a chování JavaScriptu.
- Postupné zvyšování efektivity ochranných mechanismů s ohledem na náklady na provoz.
- Omezování zbytečného zatížení u legitimních uživatelů při zachování účinné ochrany proti scrapingům.
V souvislosti s tím je důležité vyvažovat technické možnosti a zvažovat možné kompromisy mezi bezpečností a dostupností obsahu.
Vzfázování zavádění dalších rámců a strategií by mělo vycházet z dat o chování uživatelů a z aktuálních poznatků o identifikaci podezřelé aktivity.
HTTP 203: Vykreslování písma (S1, Ep4)
Celkově jde o dočasné opatření, které umožní více prostoru pro vývoj lepších fingerprintingových technik, a zároveň minimalizuje dopad na legitimní návštěvníky.
| Prvek ochrany | Popis | Dopad na uživatele |
|---|---|---|
| Proof of work | Ověření, že návštěvník musí vykonat určité výpočetní úsilí | Nízké pro běžné uživatele, vyšší pro podezřelé toky |
| Fingerprinting | Detekce charakteristik prohlížeče a prostředí | Konkurenční výhoda pro zabezpečení |
V závěru lze říci, že současná strategie je placeholderem pro budoucí řešení, která se soustředí na identifikaci headless prohlížečů a snižování nákladů u masového scrapování.