Projet BigData/IA/WEB
Projet en 1ère année de cycle ingénieur, consistant à concevoir et à developper
une application d'étude du patrimoine arboré de Saint-Quentin (Aisne). Le projet
se déroulait sur 3 semaines et chacune était dédié à une matière (BigData/ IA/ WEB)
Partie BigData
La partie BigData possède 5 parties qui étaient attendus :
1 : Description et Exploration des données.
2 : Visualiser les données graphiquement.
3 : Visualiser les données sur une carte.
4 : Etudier la corrélation des variables.
5 : Prédiction de l'âge estimé d'un arbre.
Fonctionnalité 1
Description et Exploration des données :
Description du jeu de données (décrire à quoi correspond chaque variable du fichier csv de départ)
Statistiques descriptives univariées, bivariées.
Nettoyage des données :
- valeurs manquantes, valeurs aberrantes
- Doublons.
Fonctionnalité 2
Visualisation des données graphiquement
Voici quelques exemples de graphique qui ont été utiles au projet :
Fonctionnalité 3
Visualisation des données sur une carte
Carte de Saint-Quentin et alentour
Position des arbres :
-Point Vert : arbres en place
-Point Gris : arbres en abattu
-Point Rouge : arbres remarquables (independamment de s'ils sont en place ou non)
Répartition des arbres par quartier :
- La couleur est bleue quand le quartier a beaucoup d'arbres
- La couleur devient de plus en plus rouge quand il y a moins d'arbres
Fonctionnalité 4
Etude des corrélations entre les variables
On obtient une corrélation signifiquative (0,77 et 0,80) entre l'âge estimé de l'arbre et le diamètre
de son tronc ainsi que l'âge estimé de l'arbre et la précision de l'estimation.
Fonctionnalité 5
Prédiction de l'âge estimé d'un arbre.
Dans cette partie on souhaite prédire la variable âge de l'arbre,
pour cela nous faisons une étude de regression de la variable de l'âge de l'arbre.
On souhaitera ensuite savoir quels sont les arbres à abattre, nous ferons une étude de regression logistique pour y parvenir.
Notre modèle sur la régression linéaire a une erreur résiduelle qui est faible, ce qui prouve que le modèle peut bien estimer
l'âge de l'arbre.
Pour plus d'information voici le rapport de la partie Big Data
Cliquez ici
Partie IA
3 Besoins Clients attendus
Besoin Client 1 : Visualisation sur une carte
Besoin Client 2 : Modèle de prédiction de l'âge
Besoin Client 3 : Système d'alerte pour les tempêtes
Besoin Client 1 : Visualisation sur une carte
Apprentissage Non Supervisé
Dans cette partie il a fallu utiliser plusieurs algorithmes de
clustering pour séparer les arbres en groupes basés sur leur taille, ainsi que
déterminer le nombre de clusters adéquats.
Métrique pour l'Apprentissage Non Supervisé
Evaluation de la qualité des clustering effectués dans l'étape précédente via des métriques :
- Le silhoutete score : Mesure à quel point un point de données est bien assigné à son
propre cluster par rapport à d'autres clusters
- Le Calinski-Harabasz Index : Il mesure la dispersion entre les clusters par rapport à la dispersion au sein des clusters
- Le Davies-Bouldin Index : Mesure la moyenne des rapports entre la dispersion intra-cluster et la séparation inter-cluster
Visualisation sur une carte
Cliquez ici
Un Script à été créé afin de permettre à un utilisateur de choisir le nombre de clusters de son choix qu'il veut sur la carte.
Voici la carte lorsque l'utilisateur choisit 3 clusters
Besoin Client 2 : Modèle de prédiction de l'âge
Dans le Besoin numéro 2, on cible l'âge estimé des arbres, contrairement au Besoin Client 1, ici on utilisera des
Apprentissages Supervisés. On utilisera des métriques afin d'évaluer les modèles classification.
Nous avons aussi fait un script qui nous permet de prendre en entrée un dataFrame(.JSON) et qui retourne la prédiction
de l'âge en format .JSON
Besoin Client 3 : Système d'alerte pour les tempêtes
Dans le Besoin numéro 3 on cible l'état des arbres, on utilisera l'Apprentissage supervisé pour la classication, qui sera évaluer via des métriques.
Un script à été réalisé et permet de chosir la méthode de classification que l'on souhaite utiliser et qui renvoie la carte des arbres en risques d'être
déraciner.
Voici un exemple de la carte lorsque qu'on choisir la méthode " Random Forest"
Cliquez ici
Pour plus d'information voici le compte rendu de la partie IA
Cliquez ici
Partie WEB
En cliquant sur le bouton vos accèderez à la maquette du site avec qu'une petite
portion de la base de donnée afin d'éviter des latences liées au script.
Cliquez ici
