[Bot]

Salut (je programma en python), j’aimerais récup des infos d’un site, on m’a conseillé de passer par sélénium mais je connais vraiment pas, je dois recup ses infos –> « //*[@id= »stats »]/div[14]/div[3]/table/tbody »

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

Sujet

[Bot]

sur quel site ?

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

quelles infos ?

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

donne plus de détails

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

https://royaleapi.com/player/VG9JUQLY

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

tout en bas, après avoir cliqué sur le 3ieme bouton

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

j’ai le Xpath : « //*[@id= »stats »]/div[14]/div[3]/table/tbody »

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

quel soucis rencontres tu exactement ?

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

ben je ne connais vraiment pas ce module, donc je recopie bêtement des programmes que je vois sur des vidéos yt, même si j’essaye de comprendre, j’ai une erreur bizarre, find_elements_by_xpath qui n’est pas défini ou un truc comme ca

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

le programme ne m’accepte pas find_elements_by_xpath

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

renseigne toi auprès de la documentation de la librairie selenium python

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

cette fonction est dépréciée

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

ah oui, pk ?

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

voici un locator (ou xpath) plus facile à maintenir : //div[@id=’stats’]/div[contains(@class, ‘cw2_history_segment’)]//table/tbody

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

et tu sais comment utiliser cette librairie, on m’a montré des exemples et j’ai regardé la librairie mais c’est assez complexe, y’a beaucoup de chose

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

oui (car c’est mon boulot)

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

je l’utilise avec Robot Framework (qui fonctionne sous Python)

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

faudrait que je te montre en vocal

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

c’est long à expliquer par écrit

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

oh trop bien, tu pourrais m’aider ^^ on m’a dit que c’était pas très long a faire, genre 50 lignes de codes, mais j’y arrives pas 😕 . pourtant j’ai une connaissance qui m’a envoyé un ancien truc qu’il a fait, mais ca marche plus, il l’a fait y’a longtemps

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

ah merde, parce que la je suis en vacance en italie et je suis dans un airbnb avec ma famille donc ca pratique de voc

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

en gros, tu veux extraire les stats sur le tableau ?

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

oui c’est ca, sur un tableau ou une liste, de préférence une liste, mais je pense que mon gros problème c’est l’extraction

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

et les enregistrer dans un fichier ?

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

non, en gros c’est pour un bot discord perso qui ira chercher mes infos et qui me les envoies dans un emblème

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

alors c’est différent

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

ah…

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

plus dur aussi ?

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

tu vas pas pouvoir utiliser Selenium dans ce cas car Selenium a besoin d’un navigateur pour fonctionner

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

ah my bad… Y’a d’autre moyen de faire du scraping ?

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

avant j’utilisais bs4 mais c’est vraiment limiter😂

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

que je connais pas

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

ah mince..

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

à moins que ton site soit équipée d’une API que ton bot puisse interroger pour récupérer les bonnes données

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

le site récupère ses infos d’une api déjà, mais je pense pas qu’il possède une api a eux mêmes

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

tu pourrais me dire comment récup avec mon pc les infos, peux etre que ca pourrais m’aiguiller pour un programme qui marcherait pour un bot

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

y’a un gars qui l’a fait qui m’a dit avoir réussi a le faire avec un bot discord, attend je t’envoi le code que tu vois

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from lxml import html
import sys
#RVUP0J8LQ
CHROMEDRIVER_PATH = '/usr/bin/chromedriver'
WINDOW_SIZE = "800,600"
chrome_options = Options()
#chrome_options.add_argument("--headless")
chrome_options.add_argument("--window-size=%s" % WINDOW_SIZE)
chrome_options.add_argument('--no-sandbox')
driver = webdriver.Chrome(executable_path=CHROMEDRIVER_PATH, options=chrome_options)
print("https://royaleapi.com/player/%22+sys.argv[1]+'/')
driver.get("https://royaleapi.com/player/%22+sys.argv[1]+%22/%22)
el = WebDriverWait(driver, timeout=15).until(lambda d: d.find_element(By.CLASS_NAME,"banner_continueBtn--3KNKl"))
el.click()
el = WebDriverWait(driver, timeout=15).until(lambda d: d.find_element(By.CLASS_NAME,"button_button--lgX0P"))
el.click()
wait = WebDriverWait(driver, timeout=10, poll_frequency=1)
element = wait.until(EC.element_to_be_clickable((By.XPATH, "//[@id="stats"]/div[10]/div[2]/button")))
el = WebDriverWait(driver, timeout=15).until(lambda d: d.find_element(By.XPATH, "//[@id="stats"]/div[10]/div[2]/button"))
el.click()
el = WebDriverWait(driver, timeout=15).until(lambda d: d.find_element(By.XPATH, "//*[@id="stats"]/div[10]/div[2]/table"))

xml = html.fromstring(el.get_attribute("outerHTML").replace("n","").replace("  ",""))
driver.close()

res = ""
for row in xml.xpath(".//tr"):
    i = 0
    for col in row.xpath(".//td"):
        res += col.text_content()
        if i<9 and col.text_content() != "":
            res += ';'
        i = i + 1
    res += "n"
res = res.replace("2022",";2022").replace(";;",";")
res = res.replace("2021",";2021").replace(";;",";")
res = res.replace("2019",";2019").replace(";;",";")
print (res)

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

y’a juste les lien a changer parce que le site a changé depuis

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

les xpath sont pas terribles

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

et pas maintenables en cas de changement au niveau code

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

oui après si le site change je devrais changer les xpath

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

le pb est le suivant : faut exécuter le script en boucle pour maintenir les données à jour

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

ah bon forcément ? parce que l’objectif final est qu’avec une commande ca m’envoi les données récup

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

données qui doivent être récupérées par ton bot

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

oui et c’est quoi le problème la dedans ?

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

faut bien que ton bot affiche les données que tu récupères et là c’est pas le cas

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

ah oui mais ca c’est juste le code pour recup les données

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

je l’ai pas mis dans mon bot encore

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

vu que ca marche pas..

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

bot que tu fais en pyhton ?

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

oui

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

du coup aucune idée de comment faire ? même avec le code du dessus ? le gars m’a dit que ca marchait avant avec ce code, mais je ne le comprends pas, donc je sais pas quoi changer pour le faire fonctionner

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

je fais pas de bot discord

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

ah mais la parti bot je sais faire, j’aimerai juste faire fonctionner la parti qui recup les infos, je me débrouille de la parti pour relier les deux

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

je vais tester la partie selenium dès que j’aurais le temps (ce week-end)

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

super merci beaucoup

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

t’as eu le temps d’y jeter un œil?

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Bot]

pas encore mais je tiens au courant

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

là je suis pas chez moi non plus

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

je vais tester mardi

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

merci beaucoup

——————–
MaxFax – Envoyé depuis le Discord : Culte du code

[Auteur]

Réponses