Datawarehouse interne
Dans un projet simple, vous n'avez qu'à connecter vos données et créer vos dashboards.
Mais très souvent, vous êtes aussi amené à ajouter des Dataflows (en savoir plus) pour préparer vos données, par exemple pour les nettoyer ou pour calculer des statistiques sur les donnée clients avant de les afficher, pour fusionner les données de ventes avec des objectifs définis dans un fichier XLS... Les raisons sont nombreuses.
Le datawahouse interne vous permet de stocker toutes ces données intermédiaires sans rien avoir à configurer et sans avoir besoin d'un Data Engineer dans votre équipe. Il est automatiquement mis en place à la création de votre compte.
Il est basé sur une technologie PostGreSQL ou AWS Redshift pour les grands volumes de données (jusqu'à 500 millions de lignes).
Vous disposez de plusieurs méthodes pour charger ce datawarehouse (fichiers plats sur SFTP, envoi de fichiers par API, synchronisation avec une autre source de données...). L'avantage pour vous est que vous n'avez pas à mettre en oeuvre ce datawarehouse (et son monitoring, ses backups, ses montées de version...). Ce datawarehouse peut ensuite être utilisé comme source de données pour vos dashboards.
Notre datawarehouse est aussi utile pour stocker les résultats de vos traitements de données. Si vous utilisez notre ETL ou écrivez vos propres scripts Python de traitement de données, notre datawarehouse interne est une solution très simple pour stocker les résultats et ensuite les visualiser dans vos dashboards.
Vous avez la possibilité d'ajouter une ligne de données dans notre datawarehouse par un simple appel d'API. Cela vous permet de stocker des évènements ou des messages très simplement. Notre API est architecturée de manière asynchrone pour traiter de grands volumes de messages. Ce système peut par exemple être très utile pour stocker puis visualiser des données pour les projets IoT, pour stocker toutes les actions (les clics) sur un site Internet ou une application.