[Bot]

Salut,
J’essaye de scrapper le contenu d’un site avec nodejs et seleniumjs.
Le site contient uniquement du json, mais quand on charge la page, le navigateur met automatiquement en page le json sous forme d’html.
Je voudrais pouvoir récuperer uniquement le json avec selenium, mais lorsque j’utilise ça :
`let pageContent = await driver.findElement(By.tagName(‘body’)).getAttribute(‘innerHTML’);`
ça me renvoie ceci (entre autre) :
`

`
Pourtant, le div est censé contenir une balise

 qui contient le json qui m'intéresse (on peut voir la balise en inspectant la page). Je crois que le problème vient du fait que le div en question a un attribut style="visibility:hidden", car sur la page on peut afficher la balise 

 en cliquant un bouton qui passe visibility à visible.
Énorme merci si vous trouvez la réponse 🙂


--------------------
daubouin - Envoyé depuis le Discord : Culte du code

Sujet

[Bot]

salut ! selenium n’est pas fait pour du scrapping mais du test d’IHM

——————–
dovahkiindrenaak – Envoyé depuis le Discord : Culte du code

[Bot]

bah en fait je me servais de selenium parce que le site que j essaye de scrapper refuse les connections que font les bots, j’ai vu qu’il générait un cookie à chaque connection qui permet de vérifier que c’est bien un humain, j’ai pris selenium parce que ca permet de faire des requêtes normales

——————–
daubouin – Envoyé depuis le Discord : Culte du code

[Bot]

Tu peux essayer de disable l’ exécution de js, comme ça JSON ne sera pas traité et tu peut le récupérer.

——————–
sub_delta – Envoyé depuis le Discord : Culte du code

[Bot]

mais le probleme c est que je veux scrapper a la chaine sur ce site

——————–
daubouin – Envoyé depuis le Discord : Culte du code

[Bot]

genre le but c est de scrapper une page, et une fois que ca fonctionne je le fais tout scrapper

——————–
daubouin – Envoyé depuis le Discord : Culte du code

[Bot]

je peux desactiver js pour mon navigauteur entier ?

——————–
daubouin – Envoyé depuis le Discord : Culte du code

[Bot]

Probablement

——————–
sub_delta – Envoyé depuis le Discord : Culte du code

[Bot]

oui je viens de trouver

——————–
daubouin – Envoyé depuis le Discord : Culte du code

[Bot]

Tu peux envoyer site et je peux jeter un coup d’œil

——————–
sub_delta – Envoyé depuis le Discord : Culte du code

[Bot]

att je crois ca marche

——————–
daubouin – Envoyé depuis le Discord : Culte du code

[Bot]

je te dis dans 10 secondes

——————–
daubouin – Envoyé depuis le Discord : Culte du code

[Bot]

ok ça marche, merci !!! (ca faisait depuis cette nuit que j’essayais de trouver une soluce, vraiment tu me sauves la vie)

——————–
daubouin – Envoyé depuis le Discord : Culte du code

[Bot]

😉

——————–
sub_delta – Envoyé depuis le Discord : Culte du code

[Auteur]

Réponses