I've configured webscraper to get data from a website where the pagination will need that the user click on a button. I've done a test extraction and I've noticed that not all the data are extracted, I will get only 2000 rows in the generated excel, but after a quick control, I've calculated that I will have 4400 products into the website. How I can set correctly the pagination click and the delay to get all the data I need?
Url: https://spesaonline.conad.it
Sitemap:
{"_id":"conad","startUrl":["https://spesaonline.conad.it/c/frutta-fresca--0101","https://spesaonline.conad.it/c/frutta-secca--0102","https://spesaonline.conad.it/c/verdura-fresca--0103","https://spesaonline.conad.it/c/semi-alimentari--0104","https://spesaonline.conad.it/c/carne-di-vitello--0201","https://spesaonline.conad.it/c/carne-di-bovino--0202","https://spesaonline.conad.it/c/carne-di-suino--0203","https://spesaonline.conad.it/c/carne-di-pollo-e-tacchino--0204","https://spesaonline.conad.it/c/altre-carni--0207","https://spesaonline.conad.it/c/salumi--0208","https://spesaonline.conad.it/c/carne-conservata--0209","https://spesaonline.conad.it/c/wurstel-carne-precotta--0210","https://spesaonline.conad.it/c/formaggi--0401","https://spesaonline.conad.it/c/burro-e-margarina--0402","https://spesaonline.conad.it/c/yogurt-e-probiotici--0403","https://spesaonline.conad.it/c/latte--0404","https://spesaonline.conad.it/c/besciamella-e-panna--0405","https://spesaonline.conad.it/c/uova-di-gallina--0406","https://spesaonline.conad.it/c/lievito-fresco--0501","https://spesaonline.conad.it/c/basi-torte-salate-dolci--0502","https://spesaonline.conad.it/c/pasticcini--0503","https://spesaonline.conad.it/c/zucchero-e-dolcificanti--0504","https://spesaonline.conad.it/c/farina--0505","https://spesaonline.conad.it/c/biscotti--0601","https://spesaonline.conad.it/c/caramelle-e-cioccolato--0602","https://spesaonline.conad.it/c/cereali-per-colazione--0603","https://spesaonline.conad.it/c/confetture-spalmabili-dolci--0604","https://spesaonline.conad.it/c/fette-biscottate--0605","https://spesaonline.conad.it/c/merendine-snack-dolci--0606","https://spesaonline.conad.it/c/dessert-e-pasticceria--0607","https://spesaonline.conad.it/c/caffe-macinato--0701","https://spesaonline.conad.it/c/caffe-cialde-e-capsule--0702","https://spesaonline.conad.it/c/caffe-in-grani--0703","https://spesaonline.conad.it/c/caffe-solubile--0704","https://spesaonline.conad.it/c/te-caldo--0705","https://spesaonline.conad.it/c/infusi-tisane--0706","https://spesaonline.conad.it/c/orzo-e-alternative-al-caffe--0707","https://spesaonline.conad.it/c/olio-aceto-condimenti--0801","https://spesaonline.conad.it/c/sale-aromi-spezie--0802","https://spesaonline.conad.it/c/dadi-brodi--0803","https://spesaonline.conad.it/c/sughi-pronti-passate-pomodoro--0804","https://spesaonline.conad.it/c/salse-pate-creme-spalmabili--0805","https://spesaonline.conad.it/c/olive-sottoli-sottaceti--0806","https://spesaonline.conad.it/c/legumi-cereali-e-funghi-conservati--0807","https://spesaonline.conad.it/c/frutta-conservata--0808","https://spesaonline.conad.it/c/tonno-e-altro-pesce-conservato--0809","https://spesaonline.conad.it/c/grissini--0901","https://spesaonline.conad.it/c/crackers--0902","https://spesaonline.conad.it/c/snack-salati--0903","https://spesaonline.conad.it/c/pizze-focacce-piadine--0904","https://spesaonline.conad.it/c/pane-morbido-croccante--0905","https://spesaonline.conad.it/c/pangrattato--0906","https://spesaonline.conad.it/c/pasta-all-uovo-secca--1001","https://spesaonline.conad.it/c/pasta-ripiena--1002","https://spesaonline.conad.it/c/pasta-fresca--1003","https://spesaonline.conad.it/c/pasta-di-semola--1004","https://spesaonline.conad.it/c/riso--1005","https://spesaonline.conad.it/c/pasta-speciale--1006","https://spesaonline.conad.it/c/pane-e-impasti-surgelati--1101","https://spesaonline.conad.it/c/pesce-al-naturale-surgelato--1102","https://spesaonline.conad.it/c/pizze-e-snack-surgelati--1103","https://spesaonline.conad.it/c/preparato-di-pesce-surgelato--1104","https://spesaonline.conad.it/c/piatti-pronti--1105","https://spesaonline.conad.it/c/sughi-surgelati--1106","https://spesaonline.conad.it/c/vegetali-surgelati--1107","https://spesaonline.conad.it/c/gelati--1108","https://spesaonline.conad.it/c/antipasti-pronti--1201","https://spesaonline.conad.it/c/primi-piatti-pronti--1202","https://spesaonline.conad.it/c/secondi-pronti--1203","https://spesaonline.conad.it/c/contorni-pronti--1204","https://spesaonline.conad.it/c/piatti-unici-pronti--1205","https://spesaonline.conad.it/c/piatti-pronti-vegetali--1207","https://spesaonline.conad.it/c/salse-sughi-e-pate--1209","https://spesaonline.conad.it/c/altri-piatti-pronti--1210","https://spesaonline.conad.it/c/detersivi-per-bucato--1301","https://spesaonline.conad.it/c/sapone-per-piatti--1302","https://spesaonline.conad.it/c/deodranti-e-detergenti-casa--1303","https://spesaonline.conad.it/c/accessori-pulizia-casa--1304","https://spesaonline.conad.it/c/contenitori-pellicole-alimenti--1305","https://spesaonline.conad.it/c/posate-tovaglioli-usa-e-getta--1306","https://spesaonline.conad.it/c/altri-prodotti-per-casa--1307","https://spesaonline.conad.it/c/insetticidi--1308","https://spesaonline.conad.it/c/assorbenti--1401","https://spesaonline.conad.it/c/cotone-fazzoletti-e-carta-igienica--1402","https://spesaonline.conad.it/c/prodotti-giene-orale--1403","https://spesaonline.conad.it/c/prodotti-igiene-personale--1404","https://spesaonline.conad.it/c/prodotti-per-capelli--1405","https://spesaonline.conad.it/c/prodotti-depilazione-e-rasatura--1406","https://spesaonline.conad.it/c/prodotti-cosmetici--1407","https://spesaonline.conad.it/c/prodotti-viso-e-corpo--1408","https://spesaonline.conad.it/c/medicazione-articoli-sanitari--1409","https://spesaonline.conad.it/c/alimentazione-bambini--1501","https://spesaonline.conad.it/c/prodotti-igiene-neonato--1502","https://spesaonline.conad.it/c/cibo-per-cani--1601","https://spesaonline.conad.it/c/cibo-per-gatti--1602","https://spesaonline.conad.it/c/gadget-e-pulizia-per-animali--1603","https://spesaonline.conad.it/c/prodotti-per-altri-animali--1604","https://spesaonline.conad.it/c/vini-rossi--1701","https://spesaonline.conad.it/c/vini-bianchi--1702","https://spesaonline.conad.it/c/vini-rosati--1703","https://spesaonline.conad.it/c/vino-passito--1704","https://spesaonline.conad.it/c/vino-in-box-brick--1705","https://spesaonline.conad.it/c/vini-internazionali--1706","https://spesaonline.conad.it/c/birre--1708","https://spesaonline.conad.it/c/prosecco-spumante-champagne--1709","https://spesaonline.conad.it/c/liquori-e-distillati--1710","https://spesaonline.conad.it/c/acqua--1801","https://spesaonline.conad.it/c/succhi-bevande-di-frutta--1802","https://spesaonline.conad.it/c/bevande-gassate--1803","https://spesaonline.conad.it/c/aperitivi--1804","https://spesaonline.conad.it/c/bevande-solubili-e-sciroppi--1805","https://spesaonline.conad.it/c/te-freddo-bevande-fresche--1806","https://spesaonline.conad.it/c/integratori-alimentari--1901","https://spesaonline.conad.it/c/alimentazione-sportiva--1903"],"selectors":[{"id":"product-wrapper","parentSelectors":["_root"],"type":"SelectorElementClick","clickElementSelector":"li a[aria-label]","clickElementUniquenessType":"uniqueText","clickType":"clickOnce","delay":50,"discardInitialElements":"do-not-discard","multiple":true,"selector":"div.product-card"},{"id":"Descrizione","parentSelectors":["product-wrapper"],"type":"SelectorText","selector":".no-t-decoration h3","multiple":false,"regex":""},{"id":"Peso","parentSelectors":["product-wrapper"],"type":"SelectorText","selector":"b.product-quantity","multiple":false,"regex":""},{"id":"Prezzo unitario","parentSelectors":["product-wrapper"],"type":"SelectorText","selector":"div.product-price-kg","multiple":false,"regex":""},{"id":"Prezzo non scontato","parentSelectors":["product-wrapper"],"type":"SelectorText","selector":"div.product-price-original","multiple":false,"regex":""},{"id":"Prezzo","parentSelectors":["product-wrapper"],"type":"SelectorText","selector":"div.product-price","multiple":false,"regex":""},{"id":"Percentuale di sconto","parentSelectors":["product-wrapper"],"type":"SelectorText","selector":"span.badge-text","multiple":false,"regex":""},{"id":"Durata prezzo scontato","parentSelectors":["product-wrapper"],"type":"SelectorText","selector":"div.discount-date","multiple":false,"regex":""},{"id":"Link Prodotto","parentSelectors":["product-wrapper"],"type":"SelectorElementAttribute","selector":"a.product","multiple":false,"extractAttribute":"href"},{"id":"Categoria","parentSelectors":["_root"],"type":"SelectorText","selector":".uk-breadcrumb span","multiple":false,"regex":""},{"id":"Articoli totali","parentSelectors":["_root"],"type":"SelectorText","selector":"b.results","multiple":false,"regex":""}]}