Na úrovních jednotlivých škál jsou dodané zátěže zřídka významné, ale při masovém škrcení scrapingu se jejich dopad nasčítá a činí samotné scrapingování výrazně dražším. Tento článek zpracovává myšlenku, že dodatečné zatížení je na mikroúrovni zanedbatelné, avšak na masové úrovni může mít zásadní ekonomický efekt a vyžaduje pečlivější techniky proti botům a headless prohlížečům.
Jde o dočasné řešení, které umožňuje věnovat více času fingerprintingu a identifikaci headless prohlížečů, například prostřednictvím analýzy způsobu vykreslování fontů. Tím se nenavazuje na nutnost prezentovat výzvu s důkazem práce (proof of work) uživatelům, kteří jsou mnohem pravděpodobněji legitimní. Placebo řešení má sloužit jako překlenovací fáze, dokud se nevyvinou robustnější techniky odlišení člověka od robota.
Jak funguje zátěž v kontextu scrapingových operací
V jednotlivých měřítkách se dodatečné náklady jeví jako zanedbatelné, ale kumulativně mohou představovat významný tlak na infrastrukturu a náklady na provoz. Převážná část dodatečného zatížení plyne z opakovaných požadavků, které jsou navíc pomalejší u identifikovaných headless prohlížečů či skriptů. Komparativně se zvýšený tlak projevuje na spotřebě šířky pásma, CPU času a využití paměti.
Motivační rámec spočívá v tom, že při vyšší frekvenci scrape operací roste pravděpodobnost identifikace botů a headlessických prostředí, což vede k efektivnějším a levnějším metodám blokování a filtrování. V plánech na budoucí vývoj se počítá s pokročilejším fingerprintingem a vylepšenou detekcí font renderování či dalších systémových charakteristik.
Role fingerprintingu a identifikace headless prohlížečů
Hlavním cílem je posunout režim boje proti scrape na úroveň, která umožní odfiltrovat pochybné požadavky již na straně klienta, aniž by se zbytečně zatěžovala legitimní uživatelská komunikace. To zahrnuje identifikaci headless prohlížečů prostřednictvím analýzy vykreslování fontů, volání JavaScriptu a dalších moderních prvků, které pluginy jako JShelter mohou zakázat. Anubis vyžaduje použití moderních funkcí JavaScriptu, což komplikuje snahy o zasahování skriptů třetích stran a vyvazuje prostor pro sofistikovanější analýzu.
Současně se zvažuje, že implementace komplexních řešení fingerprintingu má být provázána s technikami pro minimalizaci dopadu na uživatele, kteří skutečně patří mezi legitimní návštěvníky, a s dynamickým adaptivním chatem proti automatizaci, který není generickým blokováním, ale cíleným rozpoznáváním vzorů chování.
Praktické dopady na provoz a náklady
V menších měřítkách může být dodatečné zatížení zanedbatelné, avšak ve vysocezatížených scrapingových prostředích se kumulativní efekty projeví na provozních nákladech, latenci a spotřebě zdrojů. Plánované řešení má sloužit k tomu, aby se více času věnovalo identifikaci a profilování headless prostředí, a méně času samotnému vykonávání zdrojově náročných dotazů.
Je důležité poznamenat, že takové taktiky nemusí být široce rozšířené mezi koncovými uživateli a mohou být navrženy s ohledem na minimalizaci dopadu na legitimní provoz. V konečném důsledku má jít o vyvažování mezi ochranou zdrojů a uživatelskou zkušeností a o postupné zvyšování obtížnosti pro skriptované aktivity.
Table: Přehled klíčových faktorů
| Faktor | Vliv | Poznámka |
|---|---|---|
| Dodatečné zatížení | Nízké na jednotlivci, vysoké při masovém scrapingu | Souvisí s opakovanými dotazy |
| Fingerprinting | Vysoká relevance pro identifikaci | Font rendering a JS chování |
| Headless prohlížeče | Vyšší riziko blokace | Detekce prostřednictvím charakteristik |
| Proof of Work | Nepotřebný pro legitimní uživatele | Namísto zbytečného vyvolání |
V závěru je udržitelná ochrana proti scrapingům postavena na kombinaci lehkého zatížení pro jednotlivé požadavky a cílené, adaptivní detekci na úrovni masového provozu. Tento přístup umožňuje ocení a vyvažení nákladů a uživatelské zkušenosti při postupném zvyšování náročnosti pro automatizované aktivity.
Co je to bezhlavý prohlížeč?
Celá problematika má širší dopad na design a provoz systémů, které bojují s boty a automatizací. U zmiňovaného Anubis se prosazuje nutnost moderních JS funkcí, které mohou býti blokovány pluginy, a tedy vyžadují sofistikovanější přístupy k detekci a ochraně proti scrapingům.