Vous arrive-t-il de vous retrouver piégé dans le monde fastidieux des rapports manuels sur Excel ? Nous sommes passés par là aussi, et nous savons à quel point cela peut être chronophage et épuisant. Mais rassurez-vous, nous nous sommes lancés dans une aventure passionnante pour nous libérer des chaînes du reporting manuel et avons découvert un univers de reporting en ligne en temps réel qui a révolutionné notre approche !

Dans cet article de blog, nous vous emmènerons dans un voyage palpitant à travers notre transformation, passant d'esclaves des feuilles de calcul à super-héros axés sur les données. Nous vous dévoilerons la pile technologique qui nous a propulsés dans un monde d'efficacité et de productivité. Préparez-vous à découvrir les solutions de pointe que nous avons sélectionnées avec soin, et surtout, les raisons de nos choix et la valeur incroyable qu'elles ont apportée.

Mais voici le meilleur : vous n'avez pas besoin d'être un génie de la technologie ni de dépendre d'ingénieurs et de développeurs pour mettre en œuvre ces changements. Nous vous révélerons les secrets d'une intégration transparente, faisant de ce parcours une démarche simplifiée pour vous et votre équipe.

Alors, attachez votre ceinture et préparez-vous à révolutionner votre processus de reporting. Cet article de blog est votre porte d'entrée vers une organisation plus axée sur les données, où les décisions éclairées coulent de source. Dites adieu à la routine et adoptez la puissance du reporting en ligne en temps réel – votre clé pour libérer tout le potentiel de vos données !

#1 Comprendre la situation initiale de Smeetz et la motivation derrière la mise en œuvre du projet

Au départ, Smeetz était confrontée à un défi commun à de nombreuses startups et entreprises établies. L'entreprise utilisait diverses solutions logicielles pour gérer les relations clients, la facturation et d'autres données commerciales. Cependant, s'appuyer sur ces sources de données individuelles de manière indépendante ne fournissait pas une vue d'ensemble complète de l'entreprise. Pour obtenir des informations précises sur la situation globale, il était nécessaire de consolider les données provenant de différentes sources.

Bien que chaque logiciel utilisait son propre moteur de reporting interne, la difficulté résidait dans la combinaison transparente des données provenant de diverses plateformes. Pour résoudre ce problème, de nombreuses startups ont eu recours à l'agrégation manuelle à l'aide de feuilles de calcul comme Excel ou Google Sheets. Néanmoins, cette approche présentait des inconvénients. Elle exigeait une quantité importante de saisie de données laborieuse, et une certaine granularité était perdue car toutes les données pertinentes ne pouvaient pas être intégrées dans les feuilles de calcul.

Par exemple, les données de revenus provenant des abonnements de facturation pouvaient être gérées par un logiciel, tandis que les revenus des transactions de produits de base pouvaient être gérés par un autre. Pour analyser le meilleur canal d'acquisition pour les revenus réalisés, il est devenu essentiel de connecter les données de revenus réalisés aux informations CRM afin d'identifier précisément les sources des clients.

Alors que Smeetz connaissait une croissance rapide, passant d'environ 15-20 employés à 50 et établissant sa présence sur le marché dans plus de quatre pays, la demande de données de reporting opportunes et complexes s'est intensifiée. Prendre des décisions commerciales éclairées est devenu de plus en plus crucial pour soutenir la croissance et rester compétitif.

De plus, diverses parties prenantes, y compris les membres de l'équipe et les investisseurs, avaient besoin d'accéder à des données de reporting en temps réel pour piloter efficacement les campagnes marketing, les stratégies de vente et d'autres initiatives clés. Le besoin d'informations plus rapides et plus accessibles a entraîné une refonte complète de l'approche de reporting.

En réponse à ces défis, Smeetz s'est lancé dans un projet d'envergure avec quatre objectifs principaux :

1. Centraliser toutes les sources de données pour éliminer la fragmentation et rationaliser le processus de reporting.
2. Intégrer et combiner les données de plateformes disparates pour obtenir une vue d'ensemble holistique et précise de l'entreprise.
3. Calculer des indicateurs clés essentiels qui sont pertinents à l'échelle mondiale et facilement accessibles aux parties prenantes.
4. Établir une plateforme en ligne pour une consommation aisée et standardisée des données de reporting.

En entreprenant ce projet ambitieux, Smeetz visait à doter ses équipes d'informations exploitables et à permettre une prise de décision plus rapide et basée sur les données pour faire avancer l'entreprise avec succès.

#2 Mise en œuvre d'un projet axé sur les données : Surmonter les défis et les réalisations

#2.1 Consolidation des données commerciales : Rationalisation de l'extraction et de la centralisation des données

Dans la quête d'une gestion efficace de nos données commerciales, nous avons entrepris une première étape cruciale : l'extraction de données de diverses applications logicielles et leur centralisation dans un emplacement unifié. Pour atteindre cet objectif, nous avons mené des recherches approfondies, explorant différentes options d'extracteurs de données et d'entrepôts de données afin de trouver la solution la mieux adaptée à nos besoins.

Exploration des extracteurs de données

Notre recherche d'extracteurs de données adaptés s'est avérée difficile, car la plupart des options n'étaient compatibles qu'avec une partie des logiciels que nous utilisions, nous empêchant de réaliser notre vision d'une pile de données transparente. Cependant, notre quête a pris fin avec la découverte de Fivetran – une plateforme automatisée de déplacement de données qui effectue l'extraction, le chargement et la transformation de données provenant de diverses sources vers des entrepôts de données cloud.

Fivetran offrait de nombreux avantages, ce qui en faisait un choix idéal pour nos besoins d'intégration de données. Premièrement, il excellait par sa convivialité, ne nécessitant aucun codage pour les connecteurs prédéfinis, qui couvraient un large éventail de logiciels utilisés dans l'écosystème des startups, tels que Google Sheet, MySql, HubSpot, ChargeBee, Google Analytics, Google Ads, Linkedin Ads, et bien d'autres. Deuxièmement, la flexibilité de Fivetran nous a permis de configurer des connecteurs personnalisés via les fonctions Google Cloud, pour les logiciels non encore répertoriés dans leurs connecteurs.

Pour faciliter l'intégration d'API non prises en charge initialement par Fivetran, nous avons utilisé les fonctions Google Cloud. Cette plateforme de calcul sans serveur nous a permis d'exécuter du code sans la charge de la gestion des serveurs. Par exemple, nous avons utilisé cette capacité pour maintenir des enregistrements quotidiens des taux de change pour diverses devises par rapport à notre devise de base/référence, ce qui est vital pour nos opérations commerciales mondiales.

Sélection de l'entrepôt de données

Une fois que nous avons opté pour Fivetran comme extracteur de données, la décision de l'entrepôt de données à utiliser est devenue la prochaine étape cruciale. Heureusement, nos options étaient plus limitées à cet égard. Fivetran offrait une intégration avec plusieurs destinations, notamment Amazon S3 & Redshift, Microsoft Azure Data Lake Storage, Google BigQuery, les bases de données MySQL, entre autres.

Étant donné que le projet a été initié par nos équipes commerciales plutôt que par nos équipes techniques, nous avons recherché un entrepôt de données offrant des capacités de visualisation et de manipulation sans nécessiter de configuration de serveur ou de frameworks complexes. Par conséquent, nous avons opté pour Google BigQuery, impressionnés par son interface conviviale et sa capacité à gérer de vastes volumes de données avec une vitesse exceptionnelle, renforcée par des fonctions SQL avancées.

En tant qu'utilisateurs de Google G-Suite, l'intégration transparente entre Google BigQuery et Google Sheets s'est avérée un avantage significatif. Cette intégration nous a permis non seulement d'importer des données commerciales dans notre solution de visualisation de données choisie, mais aussi d'y accéder facilement depuis n'importe quel document Google Sheets utilisé à des fins commerciales.

En conclusion, grâce à la combinaison synergique de Fivetran comme extracteur de données et de Google BigQuery comme entrepôt de données, nous avons réussi à rationaliser nos processus d'extraction et de centralisation des données. Cette base assure une approche plus efficace et organisée de la gestion de nos données commerciales, nous permettant de prendre des décisions éclairées et de faire progresser notre entreprise avec plus de clarté et de précision.

#2.2 Consolidation des données : Surmonter les défis et adopter DBT Cloud

Après avoir mis en œuvre avec succès des extracteurs de données à l'aide de Fivetran et centralisé toutes les données commerciales dans notre entrepôt de données Google BigQuery, un nouveau défi est apparu. Nous avions besoin d'une solution pour connecter et lier les données de diverses sources de manière transparente.

Notre objectif était d'intégrer les données CRM de HubSpot avec les données de revenus de Smeetz et Chargebee, ainsi que les données marketing de Google Ads et LinkedIn Ads, sans oublier les données comptables de Bexio.

Initialement, nous avons envisagé de joindre tous ces ensembles de données à l'aide d'une solution de visualisation de données ou d'un moteur de BI comme Looker Studio ou Databox. Cependant, nous avons rapidement réalisé que cette approche présentait des limites. La complexité des jointures de données, associée au manque de réutilisabilité en dehors de l'outil de visualisation et à l'incapacité d'effectuer des calculs avancés tels que le CAC et le LTV, a rendu cette option irréalisable.

Ainsi, nous nous sommes mis en quête d'une nouvelle solution logicielle capable de combiner efficacement toutes nos données commerciales et de faciliter des calculs automatisés avancés. C'est là qu'intervient DBT Cloud, un framework de développement qui allie le SQL modulaire aux meilleures pratiques d'ingénierie logicielle, garantissant des processus de transformation de données fiables, rapides et agréables. Grâce à la puissance de la syntaxe Jinja, DBT Cloud nous a permis de définir un code SQL propre et robuste, réduisant la redondance et augmentant l'efficacité.

DBT Cloud nous a permis de créer des modèles de données de post-traitement à partir de données brutes provenant de différentes sources. Ces modèles ont ensuite été utilisés pour générer des données nettoyées, rationalisées et jointes, prêtes à être consommées par notre solution de visualisation de données et d'autres applications Google Suite. En utilisant DBT Cloud, nous avons pu rationaliser notre flux de travail de données, garantissant une expérience d'analyse de données plus intégrée et transparente.

#2.3 Rationalisation des calculs de métriques clés globales avec DBT Cloud

En découvrant les immenses capacités de DBT Cloud, nous avons réalisé le vaste potentiel qu'il offrait pour le calcul de nos métriques clés globales. La capacité de scripter les transformations de données avec DBT nous a permis de générer sans effort des métriques prêtes à l'emploi pour nos équipes.

Pour tirer pleinement parti de ces capacités, nous nous sommes lancés dans une entreprise ambitieuse : développer une collection de macros/fonctions SQL exploitant la syntaxe Jinja. Cette démarche stratégique visait à éliminer le besoin de transformation manuelle des données, nous offrant une abstraction rationalisée des calculs. Avec une simple ligne supplémentaire dans un fichier CSV seed, nous pouvions produire de nouvelles métriques à volonté.

Notre approche a consisté à organiser méticuleusement le projet DBT Cloud à travers de nombreuses itérations et refactorisations, nous menant à une architecture optimale, propre, facilement compréhensible et prête pour de futures modifications.

Voici comment nous avons structuré le projet DBT Cloud :

Modèles d'acquisition de données

Nous avons conçu des modèles spécifiques pour extraire, nettoyer et rationaliser les données provenant de diverses sources. Chaque source de données disposait de son propre modèle dédié, nous permettant d'identifier, de réorganiser et de renommer les noms de colonnes clés selon les besoins.

Modèles de regroupement de données

Ces modèles ont été conçus pour joindre des ensembles de données obtenus à partir des modèles d'acquisition de données. L'objectif était de créer des objets entièrement complets qui englobaient des données provenant de multiples sources. Par exemple, nous avons lié les données clients de différents logiciels, intégrant non seulement HubSpot ou Smeetz, mais aussi les données de Chargebee, notre logiciel de gestion des abonnements.

Modèles de calcul des métriques de données

Cet ensemble de modèles nous a permis d'effectuer des calculs systématiques sur l'ensemble de données généré par les modèles de regroupement de données. Nous pouvions calculer sans effort un large éventail de sommes, de ratios, de moyennes mobiles et bien plus encore en ajoutant une simple ligne de code à nos seeds.

Seeds

Nous avons largement utilisé les seeds pour éviter les données statiques codées en dur dans nos modèles. Au lieu de cela, nous avons décrit comment les données devaient être agrégées, en particulier lors de la gestion de plusieurs clés ou statuts nécessitant un regroupement. De plus, les seeds ont joué un rôle essentiel dans la spécification des métriques que nous recherchions et de la manière dont elles devaient être calculées. Ainsi, une nouvelle ligne dans le CSV pouvait effectuer le calcul d'une toute nouvelle métrique.

Macros

Les macros ont joué un rôle crucial dans notre projet, bien qu'avec une certaine complexité. Elles nous ont permis de minimiser la duplication du code SQL tout au long du projet. Chaque fois que nous identifions des sections redondantes dans les modèles développés, nous avons abstrait le code en macros, le rendant réutilisable dans d'autres modèles.

En suivant cette approche bien organisée et en tirant parti des capacités de DBT Cloud, nous avons réussi à rationaliser le calcul des métriques clés globales, offrant à nos équipes commerciales des informations précieuses.

‍

#2.4 Faciliter l'accès aux données et les visualisations pour les parties prenantes

Après la tâche ardue de développer et de tester minutieusement les modèles DBT Cloud, nous étions presque prêts à passer à l'étape suivante. Toutes les données commerciales critiques et les métriques essentielles ont été intégrées avec succès dans Google BigQuery, les rendant facilement disponibles pour utilisation.

Ensuite, nous devions choisir une solution de visualisation de données ou un moteur de BI pour présenter ces données précieuses à nos parties prenantes. Le choix était évident, étant donné que nous sommes des utilisateurs assidus de Google G-Suite. Looker Studio est apparu comme le choix idéal, car il offrait un éventail impressionnant de fonctionnalités et était disponible gratuitement.

Avec Looker Studio, nous avons pu construire rapidement de multiples rapports avec différents niveaux de granularité en termes de droits d'accès et d'informations, grâce aux Google Groups. La plateforme a également fourni des affichages de pointe, nous permettant de surveiller, par exemple, le GTV (Gross Transaction Value) transitant par notre produit principal, Smeetz, en temps réel. Nous pouvions analyser sans effort cette répartition des données par marché et la comparer à nos prévisions et aux points de données YoY (Year over Year).

De plus, en conjonction avec Looker Studio, nos équipes commerciales ont obtenu un accès direct aux données brutes et aux métriques depuis Google Sheets. Elles pouvaient désormais écrire de simples requêtes SQL en utilisant le connecteur natif Connect to BigQuery de Google Sheets. Cette intégration transparente a élargi les possibilités d'automatisation des feuilles de calcul, permettant à nos équipes de tirer encore plus d'informations des données.

Dans l'ensemble, ces intégrations et ces choix nous ont permis de prendre des décisions basées sur les données de manière efficace et efficiente, améliorant notre compréhension de l'entreprise et, au final, générant de meilleurs résultats.

#3 Défis rencontrés lors de la mise en œuvre

#3.1 Partir de zéro sans connaissances techniques préalables

Entreprendre ce projet de zéro sans aucune connaissance technique préalable s'est avéré être l'un des défis les plus redoutables. Étant plus compétent en affaires avec une expérience de codage limitée issue de mon parcours bancaire (principalement l'utilisation de VBA dans Excel), je me suis fortement appuyé sur ma curiosité et sur des recherches Google approfondies.

Malgré ces limitations, j'ai réussi à acquérir rapidement de nouvelles connaissances, en acquérant une compréhension approfondie de diverses piles de données et en développant des compétences avancées en script SQL, qui ont été essentielles pour créer des modèles DBT Cloud.

#3.2 Identifier la bonne pile technologique

Le choix de la pile technologique appropriée a été un processus long et complexe en raison de la multitude d'outils disponibles, chacun avec ses propres avantages et inconvénients. Notre confiance finale dans la pile technologique choisie est venue de son alignement avec les exigences spécifiques de notre entreprise. Pour simplifier de tels projets pour d'autres, je recommande de consacrer du temps à définir les objectifs de votre organisation et à rédiger des spécifications pour évaluer les capacités de chaque solution potentielle.

#3.3 Contraintes de temps et gestion de projet

L'un des défis majeurs auxquels nous avons été confrontés a été de trouver suffisamment de temps pour mener à bien ce projet. Concilier nos emplois du temps déjà chargés avec des délais serrés rendait la tâche presque irréalisable.

Cependant, nous avons reconnu les avantages à long terme du projet et avons jugé crucial de lui consacrer du temps pour sa bonne réalisation. Nous avons trouvé incroyablement gratifiant de nous dépasser pendant un mois, y compris en travaillant les soirs et les week-ends, pour atteindre nos objectifs.

Pour gérer de telles contraintes, nous suggérons de créer une feuille de route détaillée du projet avec des objectifs intermédiaires et des délais. De plus, impliquer l'équipe dès le début est essentiel, car cela répartit la base de connaissances du projet et facilite la maintenance à long terme. En décomposant le projet en sous-objectifs et en impliquant les membres de l'équipe dans des domaines spécifiques, vous pouvez alléger la charge et progresser plus efficacement.

#3.4 Comprendre la structure des données de la source de données

La création de modèles dans DBT Cloud a présenté des défis au-delà des compétences en script SQL, notamment pour comprendre la structure des données produites par chaque logiciel dont nous avons extrait les données. Cela a demandé un effort considérable pour mapper différentes sources de données, identifier les informations pertinentes et éliminer les données non pertinentes.

En conclusion, surmonter ces défis a exigé de la persévérance, de la collaboration et une quête continue de connaissances. Bien que le parcours ait été exigeant, les avantages de la réussite du projet se sont avérés très gratifiants pour notre organisation.

‍

#4 Quel est le résultat du projet

Le résultat du projet a été transformateur pour Smeetz, entraînant des améliorations significatives dans le processus de reporting et la prise de décision basée sur les données. Voici les principaux résultats :

Rapports en ligne en temps réel

Le processus de reporting manuel dans Excel a été remplacé par un système de reporting en ligne en temps réel. Grâce aux extracteurs de données, à Fivetran et à l'entrepôt de données Google BigQuery, toutes les données commerciales provenant de diverses sources sont désormais centralisées en un seul endroit. Cela permet d'obtenir des informations actualisées, éliminant le besoin de saisie manuelle fastidieuse et offrant un accès instantané aux informations critiques.

Consolidation et granularité des données

L'implémentation de DBT Cloud a permis la consolidation des données provenant de différentes sources et la capacité de les assembler. En connectant les données CRM, les données de revenus, les données marketing et les données comptables, Smeetz dispose désormais d'une vue holistique de son activité, permettant une prise de décision mieux éclairée. De plus, les modèles de données construits dans DBT Cloud ont facilité les calculs avancés, permettant la génération de métriques clés comme le CAC (Coût d'Acquisition Client), le LTV (Valeur Vie Client), et plus encore.

Accès facile aux métriques clés

Avec Looker Studio comme solution de visualisation de données, les équipes commerciales de Smeetz peuvent facilement accéder et explorer les métriques et rapports clés. L'interface conviviale et les puissantes fonctionnalités de Looker Studio permettent aux parties prenantes d'obtenir des informations sur les performances de l'entreprise, de suivre les KPI et de prendre rapidement des décisions basées sur les données.

Économies de temps et de ressources

Le passage d'un reporting manuel à un système de reporting en ligne automatisé a permis à Smeetz de réaliser des économies de temps et de ressources considérables. En réduisant le temps consacré à la maintenance et à la mise à jour des rapports, l'équipe peut désormais se concentrer sur l'analyse des données et l'extraction d'informations précieuses qui stimulent la croissance de l'entreprise.

Évolutivité et Standardisation

Le nouveau système de reporting est évolutif, ce qui a permis d'accompagner la croissance de Smeetz alors qu'elle étendait sa présence sur le marché à plusieurs pays. Les flux de travail standardisés de traitement des données et de reporting, facilités par la pile technologique, garantissent la cohérence et la fiabilité dans la génération des rapports, ce qui est crucial à mesure que l'organisation continue de se développer.

#6 Et ensuite ?

Grâce à la mise en œuvre réussie du système de reporting en ligne automatisé, Smeetz est désormais en excellente position pour améliorer encore ses capacités de prise de décision basées sur les données. Voici quelques-unes des prochaines étapes potentielles :

Analyse avancée et modélisation prédictive

Maintenant que Smeetz dispose d'une base solide en matière de gestion et de reporting des données, l'entreprise peut explorer des techniques d'analyse avancée et de modélisation prédictive. En exploitant les données disponibles dans Google BigQuery et les capacités d'analyse de Looker Studio, Smeetz peut découvrir des informations plus approfondies, identifier des tendances et faire des prédictions basées sur les données concernant le comportement des clients et les tendances du marché.

Intégration de l'apprentissage automatique

L'intégration de l'apprentissage automatique dans le processus de reporting peut fournir des informations et des recommandations encore plus sophistiquées. En exploitant les algorithmes d'apprentissage automatique, Smeetz peut automatiser des tâches telles que la segmentation des clients, la prédiction du taux de désabonnement et la prévision de la demande, ce qui conduit à des opérations plus efficaces et à de meilleures expériences client.

Amélioration continue et collaboration

Le cheminement vers la prise de décision basée sur les données est continu. Smeetz devrait favoriser une culture d'amélioration continue, en examinant et en affinant régulièrement son système de reporting pour répondre aux besoins commerciaux en constante évolution. La collaboration entre les équipes commerciales et techniques est cruciale pour garantir que le système de reporting reste aligné sur les objectifs de l'entreprise et s'adapte aux exigences changeantes.

En adoptant ces prochaines étapes, Smeetz peut continuer à exploiter la puissance des données pour stimuler la croissance, l'innovation et le succès dans le paysage concurrentiel des startups et au-delà.