Na úrovni jednotlivých měřítek je dodatečné zatížení zanedbatelné, ale u masivních scrapingových operací se nahromadí a dělá scraping výrazně dražším.
Nakonec jde o provizorní řešení, které má poskytnout více času na fingerprinting a identifikaci headless prohlížečů (např. podle způsobu renderování fontů), aby stránka s důkazem práce nebyla předkládána uživatelům, kteří jsou mnohem pravděpodobně legitimní.
Upozornění: Anubis vyžaduje použití moderních funkcí JavaScriptu, které pluginy jako JShelter mohou zakázat.
V kontextu ochrany proti botům je klíčové pochopit, že jednotlivé kroky mohou být opakovány v rámci různých měřítek zátěže, což ovlivňuje náklady na scraping při velkém provozu.
Principy zátěžových a fingerprintingových technik
Hlavní myšlenkou je rozložit výpočetní a identifikační nároky na jednotlivé požadavky, aby nebylo nutné vyplňovat výpočetní náročné důkazy pro každého uživatele, ale pouze pro podezřelé vzory chování.
Rozdíl mezi jednotlivými měřítky a jejich dopady na náklady
Na malé škále je dopad zanedbatelný, zatímco na velkém měřítku se kumulují náklady a zvyšují cenu scrapingových operací.
Fingerprinting a identifikace headless prohlížečů
Identifikace může zahrnovat analýzu renderování fontů a dalšíchModerních JS prvků, které mohou být odlišné u headless prohlížečů oproti plně interaktivním prohlížečům.
Praktické implikace pro implementaci
Provizorní řešení umožňuje posunout zátěž na straně serveru a soustředit se na zlepšení analýzy chování uživatelů a botů.
Využití pokročilých JS funkcí
Využití moderních funkcí JavaScriptu je nutné pro pokročilé fingerprintingové techniky, i když mohou být blokovány pluginy.
- Rozklad zatížení na jednotlivé požadavky pro snížení nákladů na každého jednotlivého uživatele.
- Shromažďování a analýza vzorů chování pro odlišení legitimních uživatelů od scraperů.
- Implementace ochranných mechanismů, které znesnadní programatické obcházení.
Bezpečnostní a etické aspekty
Je třeba vyvažovat bezpečnostní požadavky s ochranou uživatelské zkušenosti a dodržovat relevantní právní rámce při implementaci technik proti botům.
Potenciální omezení a rizika
Využití pokročilých fingerprintingových technik s sebou nese riziko falešně pozitivních identifikací a dopad na soukromí uživatelů.
Síla prohlížeče Chrome bez hlavičky a automatizace prohlížeče (Google I/O '18)
V každém případě by mělo být cílem minimalizovat dopad na legitimní uživatele a zamezit zneužití systémů scrapingem na rozsáhlé úrovni.
| Klíčové rozdíly | Popis |
|---|---|
| Jednotlivé měřítko | Nízké dodatečné zatížení, nízké náklady na zpracování |
| Masivní scraping | Kumulativní náklady, žádoucí vyšší ochrana |
| Fingerprinting fontů | Identifikace headless prohlížečů |
| Provedení důkazu práce | Omezí relevantnost pro podezřelé uživatele |