Traitement de données

connectors
Créez des étapes d'ETL

Vous pouvez configurer de manière graphique une étape d'ETL (extract/transform/load). Cela vous permet de charger des données dans une source, de sélectionner les données qui vous intéresse, de les filtrer, de les aggréger, d'effectuer des calculs de nouvelles colonnes et de stocker le résultat dans une table de données de notre datawarehouse interne.


Executez vos propres scripts Python

Notre plateforme intègre un système d'exécution de scripts Python. Codez tous vos traitements de données (import, export, calculs avancés, nettoyage de données, machine learning, analyses prédictives ...) et exécutez-les de manière régulière via notre scheduler ou en déclenchant leur exécution via un appel d'API REST. Vous évitez d'avoir à gérer votre propre infrastructure de tâches de traitement de données.

Dans un script Python, vous pouvez utiliser le package Serenytics. Celui-ci fournit de nombreuses fonctions qui vous permettent d'interroger une source de données configurée dans l'interface (avec des agrégats et des filtrages). Le résultat de cette requête peut être manipulé avec le langage Python, souvent en utilisant des librairies comme Pandas ou bien Scikit-learn. Enfin, la librairie Serenytics vous permet de charger votre résultat dans notre Datawarehouse interne pour visualiser les résultats.

connectors

connectors
Programmez des data-flow

Notre moteur vous permet de créer un flow qui va enchainer plusieurs étapes (ETL ou script Python). Avec notre scheduler, vous pouvez programmer l'exécution de ce flow quand vous le souhaitez.


Créez des étapes d'ETL paramétriques

Certaines formules sont parfois dépendantes d'un paramètre. Par exemple la fonction "a fait un achat dans les 12 derniers mois" dépend du mois auquel on évalue cette fonction. Pour gérer cette complexité, Serenytics vous permet d'ajouter des paramètres dans vos fonctions (par exemple un paramètre "mois de calcul") et de lancer le calcul de vos étapes d'ETL plusieurs fois (une fois pour chaque valeur de paramètre). Les résultats de chaque exécution sont concaténés dans une table dans notre datawarehouse interne. En quelques clics, vous mettez en place des traitements de données très avancés. Cela vous permet par exemple de construire l'historique du nombre de clients actifs dans une base clients.

connectors