[Bot]

Bonjour/soir, j’ai besoin de faire une db pour pouvoir stocker l’immense quantité de donnée que j’obtiens en tres peu de temps a l’aide de websocket. Un thread est sur l’envoie de requete avec les ws, et un autre sur le traitement des renvoie que j’ai.: voici le code : Si vous voulez plus d’info sur le code hesiter pas. Le gros du probleme est que je suis sensé traiter a peu pres 9800 data avec gaa, mais je n’en traite que 1k/1k5 a chaque fois. Je sais que le probleme vient de la db car lorsque je lance en skippant toute la fonction, j’ai bien 9800.

try:
        conn_player = sqlite3.connect(f'{PATH}DataBase/Player.db')
        cursor_player = conn_player.cursor()
        conn_bots = sqlite3.connect(f'{PATH}DataBase/Bots.db')
        cursor_bots = conn_bots.cursor()
except sqlite3.OperationalError:
        sys.exit("Can't connect to database")
socket = websocket.WebSocketApp(...)
socket.run_forever(dispatcher=rel, reconnect=5)
def on_open(ws: websocket.WebSocketApp):
    # se lance juste apres le run_forever
    time.sleep(1)
    _thread.start_new_thread(run, (ws,)) # run est une fonction appelle gaa en gros
# a chaque fois que j'ai une nouvelle data : 
def gaa(data: dict):
    global counter
    counter += 1
    for plr in data["OI"]:
        # la je traite un json, c'est bcp de code pas tres utile je vous mets juste une exemple, apres j'ai le bump dans la db
      id        = plr["OID"]
      dump(f"""REPLACE INTO Player (
                        id
                    )
                    VALUES (
                            "{id}"
          );""")
    # il y a bien plus de values que id
# et voici dump()
def dump(command: str, db: str = "Player"):
    try:
        if db == "Player":
            conn = conn_player
        elif db == "Bots":
            conn = conn_bots
        conn.execute(command)
        conn.commit()
    except sqlite3.OperationalError as e:
        print(repr(e), e)

——————–
Rémi Avec Un I – Envoyé depuis le Discord : Culte du code

Sujet

[Bot]

Je suis pas sur la clarté de mon message, j’ai re ecrit pas mal de truc pdt que je l’ecrivais désolé x)

——————–
Rémi Avec Un I – Envoyé depuis le Discord : Culte du code

[Bot]

j’avais pensé a tout stocker, puis une fois que j’ai fini de recevoir je traite tout, mais bon ca fais bcp a stocker mdr

——————–
Rémi Avec Un I – Envoyé depuis le Discord : Culte du code

[Bot]

Pour stocker des infos comme ça, t’aura pas plus rapide & efficace que le csv

——————–
∫~RANMA[GANG] SAOTOME~∫ – Envoyé depuis le Discord : Culte du code

[Bot]

Mais si tu veux utiliser une db t’es pas censé en utiliser plusieurs

——————–
∫~RANMA[GANG] SAOTOME~∫ – Envoyé depuis le Discord : Culte du code

[Bot]

En plus j’ai bien l’impression que tu mélanges du wss et dub sqlite (application synchrone)

——————–
∫~RANMA[GANG] SAOTOME~∫ – Envoyé depuis le Discord : Culte du code

[Bot]

Du coup ça sert à rien

——————–
∫~RANMA[GANG] SAOTOME~∫ – Envoyé depuis le Discord : Culte du code

[Bot]

Y’a pas grand chose qui va dans ce code pour tout te dire

——————–
∫~RANMA[GANG] SAOTOME~∫ – Envoyé depuis le Discord : Culte du code

[Bot]

——————–
∫~RANMA[GANG] SAOTOME~∫ – Envoyé depuis le Discord : Culte du code

[Bot]

j’en ai plusieurs, mais j’ai juste pas tout mis car c’etait pas ce qui importait dans ce morceau de code, et je vois pas en quoi le wss + sqlite ne vont pas ensemble

——————–
Rémi Avec Un I – Envoyé depuis le Discord : Culte du code

[Bot]

enfaite si je vois mdr, mais je vois pas solution x)

——————–
Rémi Avec Un I – Envoyé depuis le Discord : Culte du code

[Bot]

je vais essayer de tout stocker dans des txt pour ensuite tout mettre la db, mais si qlq a une methode plus rapide

——————–
Rémi Avec Un I – Envoyé depuis le Discord : Culte du code

[Bot]

Le csv

——————–
∫~RANMA[GANG] SAOTOME~∫ – Envoyé depuis le Discord : Culte du code

[Bot]

je pense pas que soit une bonne idée, car l’avantage de sqlite c’est les contraintes et avec csv faudrait que je fasse tout a la main, et je pense pas que ca revienne plus rapide vu les contraintes

——————–
Rémi Avec Un I – Envoyé depuis le Discord : Culte du code

[Bot]

Bonsoir , est-ce que le problème est résolu ?
Avez-vous une idée ainsi qu’une estimation en cycle ou en temps de la partie de votre code qui ralenti l’exécution de votre programme ?

——————–
BadWolf – Envoyé depuis le Discord : Culte du code

[Bot]

oui, c’etait bien de tout stocker dans la db, la solution alternative que j’ai trouvé est de tout stocker comme un sauvage dans des txt, attendre la fin du programme puis ensuite tout mettre dans la db, mais ca prends au moins 30m de tout mettre dans la db, je vais devoir sois refaire dans des csv, sois trouver une autre solution

——————–
Rémi Avec Un I – Envoyé depuis le Discord : Culte du code

[Bot]

ca m’ennuie un peu car je devais revoir les db pour mes cours mdr mais bon

——————–
Rémi Avec Un I – Envoyé depuis le Discord : Culte du code

[Bot]

Félicitation.
Le code présent était court mais plusieurs perspectives d’améliorations étaient possibles.

——————–
BadWolf – Envoyé depuis le Discord : Culte du code

[Bot]

mais je ne comprends, dans les csv avec python on est obligé de tout marqsué dans la premiere case de chaque lignes?

——————–
Rémi Avec Un I – Envoyé depuis le Discord : Culte du code

[Bot]

On ne peut pas mettre chaque element dans une case differente?

——————–
Rémi Avec Un I – Envoyé depuis le Discord : Culte du code

[Bot]

Quel logiciel utilisez-vous pour ouvrir le fichier CSV ?
Avez-vous suivi la procédure habituelle pour importer un fichier CSV dans votre logiciel de tableur ?

——————–
BadWolf – Envoyé depuis le Discord : Culte du code

[Bot]

excel, mais j’utilise python pour tout rentrer

——————–
Rémi Avec Un I – Envoyé depuis le Discord : Culte du code

[Bot]

le but etant que ce soit automatique

——————–
Rémi Avec Un I – Envoyé depuis le Discord : Culte du code

[Bot]

je l’ai obtenu avec ce code : au debut j’otiens juste ce que j’ai dans ma db, ce qui importe surtout est la maniere de l’ecrire dans le csv

def convert_to_csv(path, name):
    conn = sqlite3.connect(path)
    c = conn.cursor()
    c.execute("SELECT * FROM Player")
    rows = c.fetchall()
    with open(f"{name}.csv", "w", newline="", encoding="utf-8") as csvfile:
        writer = csv.writer(csvfile)
        writer.writerow( for i in c.description])
        for row in rows:
            writer.writerow(row)
    conn.close()

——————–
Rémi Avec Un I – Envoyé depuis le Discord : Culte du code

[Bot]

Est-ce que le délimiteur paramétré lors de l’ouverture du fichier CSV dans le logiciel Excel est bien la virgule ?

——————–
BadWolf – Envoyé depuis le Discord : Culte du code

[Bot]

comment on fait ca?

——————–
Rémi Avec Un I – Envoyé depuis le Discord : Culte du code

[Bot]

Voici un lien, l’explication se trouve en bas de page: https://support.microsoft.com/fr-fr/office/importer-ou-exporter-des-fichiers-texte-txt-ou-csv-5250ac4c-663c-47ce-937b-339e391393ba

——————–
BadWolf – Envoyé depuis le Discord : Culte du code

[Bot]

super, c’est bon

——————–
Rémi Avec Un I – Envoyé depuis le Discord : Culte du code

[Bot]

je pensais pas que c’etait de cette maniere, merci beaucoup 🙂

——————–
Rémi Avec Un I – Envoyé depuis le Discord : Culte du code

[Bot]

[Résolu] Probleme de lenteur avec db sqlite

——————–
Rémi Avec Un I – Envoyé depuis le Discord : Culte du code

[Auteur]

Réponses