[Bot]

Y’a t-il des développeur en C++ dans ce serveur ?

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

Sujet

[Bot]

?data

——————–
DK – Envoyé depuis le Discord : Culte du code

[Bot]

J’ai besoin d’aide en C++

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

pas suffisant comme infos

——————–
Dovahkiin Drenaak – Envoyé depuis le Discord : Culte du code

[Bot]

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

J’ai besoin d’optimiser mon code

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Est-ce qu’il y’aurai quelqu’un qui pourrait m’aider ?

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Faudrait arrêter d’être aussi vague. Partage ton code, indique en quoi consiste ton projet, quelle est ta problématique, ce que tu as déjà essayé..

——————–
DK – Envoyé depuis le Discord : Culte du code

[Bot]

Voici le sujet de mon projet

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Mets le ici si possible que les gens n’aient pas à dl le fichier

——————–
DK – Envoyé depuis le Discord : Culte du code

[Bot]

ou sa ?

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Ici

——————–
DK – Envoyé depuis le Discord : Culte du code

[Bot]

C’est pas bon ce que j’ai fait ?

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Sinon on peut passer en pv

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Faut copier coller le readme ici

——————–
DK – Envoyé depuis le Discord : Culte du code

[Bot]

Pour les autres,

——————–
DK – Envoyé depuis le Discord : Culte du code

[Bot]

Je ne comprend pas c’est ou içi, parce ce que j’ai déjà mis içi

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

L’objectif du projet est d’analyser un corpus d’e-mails pour en extraire des informations. L’analyse doit être parallélisée en limitant le nombre de tâches à un une valeur raisonnable dépendante du nombre de processeurs/threads de la machine.

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Suite à la faillite de la société américaine Enron en 2001, un corpus de 517401 e-mails de la société a été publié. Il est disponible sur [ce site](https://www.cs.cmu.edu/~./enron/enron_mail_20150507.tar.gz). Le jeu de données est constitué d’un répertoire par utilisateur (150 au total). Chacun de ces répertoires contient des sous répertoires (les dossiers d’e-mails), contenant chacun des e-mails nommés `X.` où `X` est un nombre positif. Remarquez bien le `.` à la fin du nom.

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

L’objectif est de produire un fichier qui recense les communications entre adresses e-mails sous la forme suivante :

Par exemple :

Chaque ligne commence par un expéditeur unique, suivi par `:` (sans espace avant). Puis, séparés par des espaces, viennent une suite de destinataires précédés par le nombre d’occurrences de mails depuis l’expéditeur vers ce destinataire. Les occurrences sont séparées du destinataire par le caractère `:`.

[email protected]: occ1_1:destinataire1_1@domain1_1.ext1_1 occ1_2:destinataire1_2@domain1_2.ext1_2 ... occ1_n1:destinataire1_n1@domain1_n1.ext1_n1
[email protected]: occ2_1:destinataire2_1@domain2_1.ext2_1 occ2_2:destinataire2_2@domain2_2.ext2_2 ... occ2_n2:destinataire2_n2@domain2_n2.ext2_n2
...
[email protected]: occN_1:destinataireN_1@domainN_1.extN_1 occN_2:destinataireN_2@domainN_2.extN_2 ... occN_nN:destinataireN_nN@domainN_nN.extN_nN

[email protected]: 2:[email protected] 5:[email protected]
[email protected]: 8:toto.enron.com
[email protected]: 7:[email protected] 4:[email protected] 2:[email protected]

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Pour faire cette analyse et produire le résultat, il faut créer des threads ou des processus, dits _workers_, qui traiteront des e-mails un par un. Le processus/thread principal (qui exécute le `main`), nommé _task dispatcher_, sera chargé d’alimenter les _workers_ en tâches. Chaque _worker_ reçoit une tâche, la traite, stocke le résultat dans un fichier de résultat intermédiaire, puis informe le _task dispatcher_ de la fin de sa tâche, avant d’en recevoir éventuellement une nouvelle. Chaque _worker_ produit un fichier de sortie comme celui défini ci dessus. À la fin, le _task dispatcher_ fusionne les sorties de tous ses _workers_.

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Un e-mail peut contenir parmi ses champs, les champs suivants :

– From : expéditeur
– To : destinataires directs
– Bcc : destinataires en copie cachée
– Cc : destinataires en copie

Ne confondez par ces champs avec les champs X-From, X-To, etc. que nous ne traiterons pas dans ce projet.

X-From étant présent dans tout e-mail, et placé après les 4 champs qui nous intéressent, le traitement d’un e-mail s’arrête dès ce champ atteint. Il est possible que des champs soient manquant. Dans ce cas, si From est vide, ou si aucun destinataire (direct, copie ou copie cachée) n’est trouvé, le mail ne donnera lieu à aucune sortie.

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Il vous sera nécessaire pour réaliser le projet :

– de proposer une architecture logicielle tirant parti du parallélisme de votre PC
– qui permette l’analyse telle qu’elle est décrite
– d’implémenter votre architecture et de l’exécuter sur le jeu de données complet d’Enron

Les contraintes de réalisation sont les suivantes :

– Vous réaliserez le projet par groupes de 3 étudiants.
– Le programme doit être implémenté en langage C++ (pouvant contenir du C)
– Le programme ne doit pas faire appel à des bibliothèques/frameworks autres que les bibliothèques standard C (dont `getopt` fait partie) et C++ (vous utiliserez en particulier les conteneurs de la STL). En particulier, vous n’utiliserez ni boost, ni Poco, ni Qt.
– Le programme doit compiler et fonctionner sous Linux. Un Makefile est fourni pour permettre la compilation avec une simple commande `make`.
– L’analyse ne doit pas prendre plus d’une minute
– Le programme ne doit pas fuire de mémoire (vérifier avec `valgrind`)

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

L’architecture doit permettre l’évolution du programme, par exemple sur de nouvelles tâches. Pour cela, vous vous appuierez sur les propriétés des langages orientés objets et de C++.

Une attention particulière sera apportée au choix du canal de communication entre les _workers_ et le _task dispatcher_. Dans ce projet, les _workers_ doivent en effet être persistants (i.e. la fin d’une tâche ne termine pas le _worker_, mais ce dernier communique avec le _task dispatcher_ pour obtenir une nouvelle tâche). L’arrêt des _workers_ ne se fait qu’avant la fusion des fichiers de sortie intermédiaires.

L’architecture devra être validée avec l’enseignant du TP, et fera l’objet d’une mise en forme en UML à intégrer dans le rapport.

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

L »analyse des e-mails est parallélisée. Vous pourrez utiliser soit des processus (`fork` en C), soit des threads. Les tâches envoyées doivent pouvoir changer si l’on souhaite étendre le programme à d’autres types d’analyses.

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

******************

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

J’ai déjà avancer sur le projet, sauf que j’optimise le traitement des fichiers

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

j’utilise regex (expression régulières) qui est trop lourd

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Il faut que je diminue le temps de traitement

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

map<string, map> get_emails_fields(const vector &email_files)
{
    map<string, map> emails_fields;
    for (const auto &path : email_files)
    {
        ifstream email_file(path);
        if (email_file.is_open())
        {
            // cout << "*****Début du traitement du fichier: " << path << "*****" << endl;
            // cout << "Fichier ouvert" << endl;

            string line;
            string search_from = "From:";
            string search_to = "To:";
            regex email_regex("[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+");
            smatch email_match;
            string email_from;
            string email_to;

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

while (getline(email_file, line))
            {

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

if (line.find(search_from) != string::npos && line.find("X-From:") == string::npos)
                {
                    istringstream iss(line);
                    while (getline(iss, email_from, ' '))
                    {
                        if (regex_search(email_from, email_match, email_regex))
                        {
                            email_from = email_match[0];
                            if (emails_fields.find(email_from) == emails_fields.end())
                            {
                                emails_fields[email_from] = map();
                                // cout << "Ajout de From : " << email_from << endl;
                            }
                            else
                            {
                                // cout << "From " << email_from < déjà dans le map" << endl;
                            }
                        }
                    }
                }

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

else if (line.find(search_to) != string::npos && line.find("X-To:") == string::npos)
                {
                    istringstream iss(line);
                    while (getline(iss, email_to, ' '))
                    {
                        if (regex_search(email_to, email_match, email_regex))
                        {
                            email_to = email_match[0];
                            if (emails_fields[email_from].find(email_to) == emails_fields[email_from].end())
                            {
                                emails_fields[email_from][email_to] = 1;
                                // cout << "Ajout de To : " << email_to << endl;
                            }
                            else
                            {
                                emails_fields[email_from][email_to]++;
                                // cout << "To " << email_to < déjà dans le map associé à From " << email_from << endl;
                            }
                        }
                    }
                }

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

else if (line.find("X-From:") != string::npos)
                {
                    break;
                }
                else if (line.find("X-To:") != string::npos)
                {
                    break;
                }
            }
        }
        else
        {
            cout << "Error: " << path << " could not be opened." << endl;
        }

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Comment je pourrais optimiser le code ci-dessus sans utiliser regex

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Ah ouais, long

——————–
DK – Envoyé depuis le Discord : Culte du code

[Bot]

——————–
DK – Envoyé depuis le Discord : Culte du code

[Bot]

J’ai juste besoin d’optimiser le code ci-dessus en vrai

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Je ne sais pas comment faire autrement

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

il y’a getline, line.find, line.substr mais je n’ai pas réuissi à les utiliser

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Message-ID: 
Date: Mon, 14 May 2001 13:39:00 -0700 (PDT)
From: [email protected]
To: [email protected]
Subject: Re: 2- SURVEY/INFORMATION EMAIL 5-14- 01
Mime-Version: 1.0
Content-Type: text/plain; charset=us-ascii
Content-Transfer-Encoding: quoted-printable
X-From: Phillip K Allen
X-To: Outlook Migration Team 
X-cc: 
X-bcc: 
X-Folder: Phillip_Allen_Jan2002_1Allen, Phillip K.'Sent Mail
X-Origin: Allen-P
X-FileName: pallen (Non-Privileged).pst

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Dans mon sorpus il y’a 517401 mails comme celui-ci

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

J’ai une méthode qui parcours le répertoire et sous repertoires et retourne le chemin des fichier emails

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Et j’ai une deuxième méthodes qui lit le fichier à partir du chemin

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

J’ai besoin d’extraire le champ From: et To:

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

[email protected]: 12:[email protected] 12:[email protected] 12:[email protected] 12:[email protected]
[email protected]: 3:[email protected]
[email protected]: 34:[email protected] 95:[email protected] 129:[email protected] 129:[email protected]
[email protected]: 7:[email protected] 10:[email protected] 10:[email protected]
[email protected]: 1:[email protected]

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Voici ce que je dois avoir en fichier de sortir

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

expediteur(From:): nboccurence:destinataire(To:), …..

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Bot]

Personne pour m’aider ?

——————–
Ridvan BASBUNAR – Envoyé depuis le Discord : Culte du code

[Auteur]

Réponses