Crawling multiple php urls

[Fabian207]

Hello

I used this tutorial with great success: 2019 - UnTECH # 17 - Scraping Multiple URL's with Webscraper.io - YouTube

However, now I have a case where all the URLs look like this:

http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=11671/

And now the plugin says "invalid JSON". I guess the reason is the php extension? How can I get around that?

[ViestursWS]

@Fabian207 Hello, could you, please provide your sitemap? After pasting it be sure to apply the 'Preformatted Text' option.

[Fabian207]

this is my URL-list, that is supposed to serve as sitemap:

{"_id":"dbdku","startUrl":["http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=11671/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=11753/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=11768/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=11788/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=11798/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=11839/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=11840/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=11944/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=11950/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=11951/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=11952/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=11953/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=11956/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12047/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12058/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12070/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12081/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12103/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12122/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12144/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12153/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12164/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12215/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12230/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12248/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12265/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12275/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12300/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12358/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12398/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12462/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12515/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12527/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12530/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12639/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12659/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12661/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12726/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12733/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12748/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12781/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12871/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=12922/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13038/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13040/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13102/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13236/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13281/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13341/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13392/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13414/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13426/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13472/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13507/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13543/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13566/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13616/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13672/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13679/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13680/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13711/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13715/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13724/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13731/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13740/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13745/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13791/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13851/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13861/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13926/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13940/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13949/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13950/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13962/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=13966/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=14022/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=14062/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=14633/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=14666/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=14849/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=14866/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15008/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15015/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15028/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15035/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15049/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15057/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15066/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15069/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15094/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15103/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15106/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15243/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15265/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15312/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15396/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15398/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15417/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15655/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15665/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15683/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15684/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15753/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15757/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15833/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=15943/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=16054/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=16074/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=16118/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=16122/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=16151/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=16713/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=16735/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=16791/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=17050/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=17481/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=17486/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=17546/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=17550/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=17554/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=17598/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=17658/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=17940/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=18547/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=18726/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=18905/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=18954/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=19159/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=19295/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=19499/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=19807/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=20045/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=20214/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=20238/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=20289/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=20434/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=20582/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=20728/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=20757/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=20805/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=20865/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=20877/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=21804/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=21916/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=21977/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=22144/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=22243/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=22249/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=22555/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=22780/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=23029/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=23211/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=23257/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=23273/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=23383/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=23395/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=23399/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=23463/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=23490/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=23605/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=23688/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=23691/","http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=23717/”],”selectors":[]}

EDIT: Just in case this is not possible: the site only has 15000 entries, so I also could scrape them all and then reduce later. How would I get the crawler to go from http://www.db.dokumentarfilmgeschichte.de/detail.php?typ=film&id=1 upwards?

[ViestursWS]

@Fabian207 It appears that some of the links contain extra white spaces. Also, multiple start URLs for a sitemap can be imported using the 'Bulk start URL import' feature within Web Scraper Cloud(handles up to 20'000 start URLs).

[Fabian207]

thank you very much, Web scraper cloud did the trick!

Can I mark the thread as "solved"?