Dati · 10 novembre 2026
Come abbiamo legalmente superato la dura protezione antifrode con un agente DOM visivo-testuale
Un autore ha descritto come una comune ricerca di attrezzature rare sul mercato secondario sia diventata un progetto ingegneristico completo. Utilizzando un modello linguistico locale di classe 7B/8B, è riuscito a eludere sistemi di protezione aggressivi senza l'uso di API a pagamento o proxy, solo con Python e Playwright.
Il problema principale era la protezione dei grandi siti di annunci, che ostacolava tentativi di accesso diretto tramite richieste standard, portando a messaggi di errore come "HTTP 403 Forbidden" o "HTTP 429 Too Many Requests". Questi sistemi di sicurezza hanno subito bloccato il lavoro del modello con firewall e strumenti di protezione del web.
L'autore ha tentato di bypassare questi ostacoli utilizzando motori di ricerca, ma anche in questo caso ha incontrato difficoltà, come messaggi di errore che negavano l'accesso a causa di misure antifrode. Gli sforzi di scraping tradizionale si sono rivelati insufficienti, richiedendo un approccio radicalmente diverso.
È stato sviluppato un nuovo metodo che utilizza un agente DOM visivo-testuale, in grado di imitare il comportamento umano su livelli pixel e logici. Questo approccio si basa su un emulatore di browser che evita il riconoscimento da parte dei sistemi antifrode. L'agente analizza il DOM della pagina usando marcatori testuali, ignorando i selettori CSS.
Questo metodo permette di identificare nodi testuali contenenti informazioni rilevanti come prezzi e titoli. La capacità del modello di collegare informazioni disperse nel codice della pagina ha portato a risultati accurati e a una raccolta di dati efficace senza errori di allineamento.
Il risultato finale è stato un sistema di raccolta dati che ha operato in modo autonomo, portando a una semplificazione del processo di scraping e a una maggiore precisione nell'estrazione delle informazioni richieste.