Na jednotlivých škálách je dodatečná zátěž zanedbatelná, ale při masivním skenování webů se zvyšuje a ztěžuje scraping.
V konečném důsledku jde o dočasné řešení, které má více prostoru věnovat fingerprintingu a identifikaci headless prohlížečů (např. prostřednictvím způsobu vykreslování fontů), aby stránka s důkazem práce (challenge proof of work) nebyla zobrazována uživatelům, kteří jsou mnohem pravděpodobně legitimní.
Upozorňujeme, že Anubis vyžaduje použití moderních funkcí JavaScriptu, které mohou pluginy jako JShelter zakázat.
Kontext a motivace
Idea spočívá v tom, že na menší měřítka lze dodatečnou zátěž ignorovat, avšak při velkých škálách, kdy se provádí masový scraping, se tato zátěž kumuluje a zvyšuje náklady na scraping.
Praktické důsledky pro ochranu webu
Záměrem je posunout náklady na scraping na úroveň, která vyžaduje sofistikovanější metody identifikace a méně rušivou výzvu pro legitimní uživatele.
Tento postup umožňuje soustředit další vývoj na fingerprinting a identifikaci headless prohlížečů, což zahrnuje detekci charakteristik vykreslování fontů a dalších rozpoznávacích rysů.
Technické aspekty a omezení
Prohlížečové detekce a fingerprinting jsou ovlivněny různými faktory, včetně výkonu JavaScriptu a implementace font renderingu napříč platformami.
Nuance moderních funkcí JavaScriptu a jejich vzájemný vztah s pluginy třetích stran, jako je JShelter, mohou ovlivnit provoz a detekční efektivitu.
Role "placeholder" řešení
Placeholder řešení slouží k získání času pro vývoj lepších metod identifikace, aby uživatelé s vysokou pravděpodobností legitimnosti nebyli zatěžováni dalším ověřením.
Avšak samotné řešení musí být robustní vůči obcházení a aktualizacím v oblasti headless prohlížečů a technik fingerprintingu.
V praxi to znamená pečlivě vyvažovat zátěž na serveru a uživatelskou zkušenost, aby nebyly zbytečně zhoršeny výkon a rychlost načítání.
Automatizovaný systém identifikace otisků prstů a otisky prstů v soudní síni
Detekční efektivita se vyvíjí spolu s novými verzemi prohlížečů a změnami v implementaci fontů, což vyžaduje pravidelnou aktualizaci pravidel a testování.
Praktická tabulka klíčových parametrů
| Parametr | Popis | Příklady |
|---|---|---|
| Zátěž na jednom uživateli | Dodatečný náklad na zpracování a ověřování | mírný až střední |
| Masivní scraping | Kumulovaný náklad a rizika spojená s blokací | vysoký |
| Fingerprinting fontů | Detekce unikátních vzorců renderingu | font rendering patterns |
| Detekce headless prohlížečů | Identifikace prostředků bez uživatelského GUI | Anubis, moderní JS funkce |
V kontextu ochrany webu může jít o vyvažování mezi bezpečností a uživatelskou přívětivostí.