¿Alguna vez te has encontrado atrapado en el tedioso mundo de los informes manuales en Excel? Nosotros también hemos pasado por eso y sabemos lo mucho que consume tiempo y energía. Pero no temas, nos embarcamos en un emocionante viaje para liberarnos de las cadenas de los informes manuales y descubrimos un mundo de informes en línea en tiempo real que ha revolucionado nuestra forma de trabajar.

En esta entrada de blog, te llevaremos en un apasionante recorrido por nuestra transformación de esclavos de las hojas de cálculo a superhéroes impulsados por datos. Te contaremos todo sobre la pila tecnológica que nos catapultó a un mundo de eficiencia y productividad. Prepárate para descubrir las soluciones de vanguardia que seleccionamos cuidadosamente y, lo que es más importante, las razones detrás de nuestras elecciones y el increíble valor que aportaron.

Pero lo mejor de todo es que no necesitas ser un genio de la tecnología ni depender de ingenieros y desarrolladores para implementar estos cambios. Revelaremos los secretos de una integración sin problemas, haciendo de este un viaje sin complicaciones para ti y tu equipo.

Así que abróchate el cinturón y prepárate para revolucionar tu proceso de informes. Esta entrada de blog es tu puerta de entrada a una organización más orientada a los datos, donde las decisiones informadas fluyen sin esfuerzo. Di adiós a lo monótono y abraza el poder de los informes en línea en tiempo real: ¡tu clave para liberar todo el potencial de tus datos!

#1 Entendiendo la situación inicial de Smeetz y la motivación detrás de la implementación del proyecto

Al principio, Smeetz se enfrentó a un desafío común compartido tanto por muchas startups como por empresas establecidas. La empresa utilizaba diversas soluciones de software para gestionar las relaciones con los clientes, la facturación y otros datos relacionados con el negocio. Sin embargo, depender de estas fuentes de datos individuales de forma independiente no proporcionaba una visión completa del negocio. Para obtener información precisa sobre la situación general, era necesario consolidar los datos de diferentes fuentes.

Si bien cada software empleaba su propio motor de informes interno, la dificultad residía en combinar datos de diversas plataformas de forma fluida. Para abordar este problema, muchas startups recurrieron a la agregación manual utilizando hojas de cálculo como Excel o Google Sheets. Sin embargo, este enfoque tenía sus inconvenientes. Requería una cantidad significativa de entrada de datos laboriosa, y se perdía cierta granularidad ya que no todos los datos relevantes podían integrarse en las hojas de cálculo.

Por ejemplo, los datos de ingresos de las suscripciones de facturación podrían ser gestionados por un software, mientras que los ingresos de las transacciones de productos principales podrían ser gestionados por otro. Para analizar el mejor canal de adquisición para los ingresos realizados, se hizo esencial conectar los datos de ingresos realizados con la información del CRM para identificar con precisión las fuentes de los clientes.

A medida que Smeetz experimentaba un rápido crecimiento, expandiéndose de unos 15-20 empleados a 50 y estableciendo su presencia en el mercado en más de cuatro países, la demanda de datos de informes oportunos y complejos se intensificó. Tomar decisiones comerciales bien informadas se volvió cada vez más crucial para mantener el crecimiento y seguir siendo competitivo.

Además, varias partes interesadas, incluidos los miembros del equipo y los inversores, requerían acceso a datos de informes en tiempo real para dirigir eficazmente las campañas de marketing, las estrategias de ventas y otras iniciativas clave. La necesidad de obtener información más rápida y accesible impulsó una revisión exhaustiva del enfoque de los informes.

En respuesta a estos desafíos, Smeetz se embarcó en un proyecto a gran escala con cuatro objetivos principales:

1. Centralizar todas las fuentes de datos para eliminar la fragmentación y optimizar el proceso de informes.
2. Integrar y combinar datos de plataformas dispares para obtener una visión holística y precisa del negocio.
3. Calcular métricas clave esenciales que sean globalmente relevantes y fácilmente accesibles para las partes interesadas.
4. Establecer una plataforma en línea para un consumo de datos de informes sin esfuerzo y estandarizado.

Al emprender este ambicioso proyecto, Smeetz tenía como objetivo empoderar a sus equipos con información procesable y permitir una toma de decisiones más rápida y basada en datos para impulsar el negocio con éxito.

#2 Implementación de un proyecto basado en datos: Superando desafíos y logros

#2.1 Consolidación de datos comerciales: Optimización de la extracción y centralización de datos

En la búsqueda de gestionar eficientemente nuestros datos comerciales, nos embarcamos en un primer paso crucial: extraer datos de diversas aplicaciones de software y centralizarlos en una ubicación unificada. Para lograr este objetivo, realizamos una investigación exhaustiva, explorando diferentes extractores de datos y opciones de data warehouse para encontrar la que mejor se adaptara a nuestras necesidades. [SEG 20] Exploración de extractores de datos

Nuestra búsqueda de extractores de datos adecuados resultó desafiante, ya que la mayoría de las opciones solo eran compatibles con parte del software que utilizábamos, impidiéndonos lograr nuestra visión de una pila de datos fluida. Sin embargo, nuestra búsqueda terminó con el descubrimiento de Fivetran, una plataforma automatizada de movimiento de datos que realiza la extracción, carga y transformación de datos desde diversas fuentes a almacenes de datos en la nube.

Fivetran ofreció numerosas ventajas, lo que lo convirtió en una opción ideal para nuestras necesidades de integración de datos. En primer lugar, destacó por su facilidad de uso, ya que no requería codificación para los conectores preestablecidos, que cubrían una amplia gama de software utilizado en el ecosistema de startups, como Google Sheet, MySql, HubSpot, ChargeBee, Google Analytics, Google Ads, Linkedin Ads y más. En segundo lugar, la flexibilidad de Fivetran nos permitió configurar conectores personalizados a través de las funciones de Google Cloud, adaptándose a software no incluido en sus conectores.

Para facilitar la integración de APIs no soportadas inicialmente por Fivetran, empleamos las funciones de Google Cloud. Esta plataforma de computación sin servidor nos permitió ejecutar código sin la carga de la gestión de servidores. Por ejemplo, utilizamos esta capacidad para mantener registros diarios de los tipos de cambio de varias monedas frente a nuestra moneda base/de referencia, algo vital para nuestras operaciones comerciales globales.

Selección del Almacén de Datos

Una vez que nos decidimos por Fivetran como nuestro extractor de datos, la elección del almacén de datos a emplear se convirtió en el siguiente paso crucial. Afortunadamente, nuestras opciones eran más limitadas en este aspecto. Fivetran ofrecía integración con múltiples destinos, incluyendo Amazon S3 y Redshift, Microsoft Azure Data Lake Storage, Google BigQuery, bases de datos MySQL, entre otros.

Considerando que el proyecto fue iniciado por nuestros equipos de negocio en lugar de nuestros equipos técnicos, buscamos un almacén de datos que ofreciera capacidades de visualización y manipulación sin requerir configuración de servidor o frameworks complejos. En consecuencia, optamos por Google BigQuery, impresionados por su interfaz fácil de usar y su capacidad para manejar grandes volúmenes de datos con una velocidad excepcional, reforzada por funciones SQL avanzadas.

Como usuarios de Google G-Suite, la integración perfecta entre Google BigQuery y Google Sheets resultó ser una ventaja significativa. Esta integración nos permitió no solo importar datos comerciales a nuestra solución de visualización de datos elegida, sino también acceder a ellos cómodamente dentro de cualquier documento de Google Sheets utilizado para nuestros fines comerciales.

En conclusión, a través de la combinación sinérgica de Fivetran como nuestro extractor de datos y Google BigQuery como nuestro almacén de datos, hemos optimizado con éxito nuestros procesos de extracción y centralización de datos. Esta base garantiza un enfoque más eficiente y organizado para la gestión de nuestros datos comerciales, lo que nos permite tomar decisiones informadas e impulsar nuestro negocio con mayor claridad y precisión.

#2.2 Consolidación de Datos: Superando Desafíos y Adoptando DBT Cloud

Después de implementar con éxito extractores de datos con la ayuda de Fivetran y centralizar todos los datos comerciales en nuestro almacén de datos Google BigQuery, surgió un nuevo desafío. Necesitábamos una solución para conectar y vincular datos de diversas fuentes de manera fluida.

Nuestro objetivo era integrar los datos de CRM de HubSpot con los datos de ingresos de Smeetz y Chargebee, junto con los datos de marketing de Google Ads y LinkedIn Ads, sin olvidar los datos contables de Bexio.

Inicialmente, consideramos unir todos estos conjuntos de datos utilizando una solución de visualización de datos o un motor de BI como Looker Studio o Databox. Sin embargo, rápidamente nos dimos cuenta de que este enfoque tenía limitaciones. La complejidad de las uniones de datos, junto con la falta de reutilización fuera de la herramienta de visualización y la incapacidad de realizar cálculos avanzados como CAC y LTV, hicieron que esta opción fuera inviable.

Así, nos propusimos encontrar una nueva solución de software que pudiera combinar eficientemente todos nuestros datos comerciales y facilitar cálculos automatizados avanzados. Aquí es donde entra DBT Cloud, un framework de desarrollo que combina SQL modular con las mejores prácticas de ingeniería de software, asegurando procesos de transformación de datos fiables, rápidos y agradables. Con el poder de la sintaxis Jinja, DBT Cloud nos permitió definir código SQL limpio y robusto, reduciendo la redundancia y aumentando la eficiencia.

DBT Cloud nos permitió crear modelos de datos de post-procesamiento a partir de datos brutos provenientes de diferentes fuentes. Estos modelos se utilizaron luego para generar datos limpios, optimizados y unidos, listos para ser consumidos por nuestra solución de visualización de datos y otras aplicaciones de Google Suite. Al utilizar DBT Cloud, pudimos optimizar nuestro flujo de trabajo de datos, asegurando una experiencia de análisis de datos más integrada y fluida.

#2.3 Optimización de los Cálculos de Métricas Clave Globales con DBT Cloud

Al descubrir las inmensas capacidades de DBT Cloud, nos dimos cuenta del vasto potencial que ofrecía para calcular nuestras métricas clave globales. El poder de programar transformaciones de datos usando DBT nos permitió generar métricas listas para el negocio sin esfuerzo para nuestros equipos.

Para aprovechar al máximo estas capacidades, nos embarcamos en un ambicioso proyecto para desarrollar una colección de macros/funciones SQL que aprovechaban la sintaxis Jinja. Este movimiento estratégico tenía como objetivo eliminar la necesidad de transformación manual de datos, proporcionándonos una abstracción optimizada de los cálculos. Con una simple línea adicional en un archivo semilla CSV, podíamos producir nuevas métricas según lo deseado.

Nuestro enfoque implicó organizar meticulosamente el proyecto de DBT Cloud a través de numerosas iteraciones y refactorizaciones, lo que nos llevó a una arquitectura óptima que era limpia, fácilmente comprensible y lista para futuras modificaciones.

Así es como estructuramos el proyecto de DBT Cloud:

Modelos de Adquisición de Datos

Diseñamos modelos específicos para extraer, limpiar y optimizar datos de diversas fuentes. Cada fuente de datos tenía su propio modelo dedicado, lo que nos permitía identificar, reordenar y renombrar los nombres de las columnas clave según fuera necesario.

Modelos de Consolidación de Datos

Estos modelos fueron diseñados para unir conjuntos de datos obtenidos de los modelos de adquisición de datos. El objetivo era crear objetos completamente terminados que abarcaban datos de múltiples fuentes. Por ejemplo, vinculamos datos de clientes de diferentes softwares, incorporando no solo HubSpot o Smeetz, sino también datos de Chargebee, nuestro software de gestión de suscripciones.

Modelos de Cálculo de Métricas de Datos

Este conjunto de modelos nos permitió realizar cálculos sistemáticos en el conjunto de datos generado por los modelos de consolidación de datos. Pudimos calcular sin esfuerzo una amplia gama de sumas, ratios, medias móviles y más, añadiendo una simple línea de código a nuestras semillas.

Semillas

Utilizamos intensamente las semillas para evitar datos estáticos codificados en nuestros modelos. En su lugar, describimos cómo debían agregarse los datos, especialmente al trabajar con múltiples claves o estados que requerían agruparse. Además, las semillas fueron fundamentales para especificar las métricas que buscábamos y cómo debían calcularse. Como resultado, una nueva línea en el CSV podía realizar el cálculo de una métrica completamente nueva.

Macros

Las macros desempeñaron un papel crucial en nuestro proyecto, aunque con cierta complejidad. Nos permitieron minimizar la duplicación de código SQL en todo el proyecto. Siempre que identificábamos secciones superpuestas en los modelos desarrollados, abstraíamos el código en macros, haciéndolo reutilizable en otros modelos.

Siguiendo este enfoque bien organizado y aprovechando las capacidades de DBT Cloud, optimizamos con éxito el cálculo de métricas clave globales, proporcionando a nuestros equipos de negocio información valiosa.

‍

#2.4 Habilitación del acceso a datos y visualizaciones para las partes interesadas

Después de la desafiante tarea de desarrollar y probar a fondo los modelos de DBT Cloud, estábamos casi listos para continuar. Todos los datos de negocio críticos y las métricas esenciales se integraron con éxito en Google BigQuery, poniéndolos a disposición para su utilización.

A continuación, necesitábamos decidir sobre una solución de visualización de datos o un motor de BI para presentar estos valiosos datos a nuestras partes interesadas. La elección fue sencilla, considerando que somos usuarios ávidos de Google G-Suite. Looker Studio surgió como la elección ideal, ya que venía con una impresionante variedad de funcionalidades y estaba disponible de forma gratuita.

Con Looker Studio, pudimos construir rápidamente múltiples informes con diferentes niveles de granularidad en términos de derechos de acceso e información, gracias a Google Groups. La plataforma también proporcionó pantallas de vanguardia, permitiéndonos monitorear, por ejemplo, el GTV (Valor Bruto de Transacción) que fluye a través de nuestro producto principal, Smeetz, en tiempo real. Pudimos analizar sin esfuerzo este desglose de datos por mercado y compararlo con nuestras previsiones y puntos de datos YoY (Año tras Año).

Además, en conjunto con Looker Studio, nuestros equipos de negocio obtuvieron acceso directo a datos brutos y métricas desde Google Sheets. Ahora podían escribir consultas SQL sencillas utilizando el conector nativo de Google Sheets para BigQuery. Esta integración perfecta amplió las posibilidades de automatización de hojas de cálculo, capacitando a nuestros equipos para obtener aún más información de los datos.

En general, estas integraciones y elecciones nos permitieron tomar decisiones basadas en datos de manera eficiente y efectiva, mejorando nuestra comprensión del negocio y, en última instancia, impulsando mejores resultados.

#3 Desafíos encontrados durante la implementación

#3.1 Empezar desde cero sin conocimientos técnicos previos

Emprender este proyecto desde cero sin ningún conocimiento técnico previo resultó ser uno de los desafíos más desalentadores. Siendo más hábil en negocios con una experiencia de codificación limitada de mi trayectoria bancaria (principalmente usando VBA en Excel), me basé en gran medida en mi curiosidad y en extensas búsquedas en Google.

A pesar de estas limitaciones, logré adquirir rápidamente nuevos conocimientos, obteniendo una comprensión exhaustiva de diversas pilas de datos y desarrollando habilidades competentes en scripting SQL, que fueron fundamentales para la creación de modelos en DBT Cloud.

#3.2 Identificación de la pila tecnológica adecuada

La selección de la pila tecnológica adecuada fue un proceso largo y complejo debido a la gran variedad de herramientas disponibles, cada una con sus propias ventajas y desventajas. Nuestra confianza final en la pila tecnológica elegida provino de alinearla con los requisitos específicos de nuestra empresa. Para agilizar este tipo de proyectos para otros, recomiendo dedicar tiempo a definir los objetivos de su organización y a redactar especificaciones para evaluar las capacidades de cada posible solución.

#3.3 Restricciones de tiempo y gestión de proyectos

Uno de los desafíos importantes que enfrentamos fue encontrar tiempo suficiente para llevar a cabo este proyecto. Equilibrar nuestras ya apretadas agendas con plazos ajustados hizo que pareciera casi inviable.

Sin embargo, reconocimos los beneficios a largo plazo del proyecto y consideramos crucial dedicar tiempo para su finalización exitosa. Nos resultó increíblemente gratificante esforzarnos durante un mes, incluyendo trabajar noches y fines de semana, para lograr nuestros objetivos.

Para sortear estas limitaciones, sugerimos crear una hoja de ruta detallada del proyecto con objetivos intermedios y plazos. Además, involucrar al equipo desde el principio es vital, ya que distribuye la base de conocimientos del proyecto y facilita el mantenimiento a largo plazo. Al dividir el proyecto en subobjetivos e involucrar a los compañeros de equipo en áreas específicas, se puede aligerar la carga y avanzar de manera más eficiente.

#3.4 Comprensión de la estructura de datos de la fuente de datos

La creación de modelos en DBT Cloud presentó desafíos que iban más allá de las habilidades de scripting SQL, particularmente en la comprensión de la estructura de datos producida por cada software del que extrajimos datos. Requirió un esfuerzo considerable para mapear diferentes fuentes de datos, identificar información relevante y eliminar datos irrelevantes.

En conclusión, superar estos desafíos exigió perseverancia, colaboración y una búsqueda continua de conocimiento. Aunque el camino fue exigente, los beneficios de completar el proyecto con éxito han demostrado ser muy gratificantes para nuestra organización.

‍

#4 ¿Cuál es el resultado del proyecto?

El resultado del proyecto ha sido transformador para Smeetz, lo que ha llevado a mejoras significativas en el proceso de elaboración de informes y en la toma de decisiones basada en datos. Estos son los resultados clave:

Informes en línea en tiempo real

El proceso manual de elaboración de informes en Excel ha sido reemplazado por un sistema de informes en línea en tiempo real. Gracias a los extractores de datos, Fivetran, y al almacén de datos, Google BigQuery, todos los datos empresariales de diversas fuentes están ahora centralizados en una única ubicación. Esto permite obtener información actualizada, eliminando la necesidad de una tediosa entrada manual de datos y proporcionando acceso instantáneo a información crítica.

Consolidación y granularidad de datos

La implementación de DBT Cloud ha permitido la consolidación de datos de diferentes fuentes y la capacidad de unirlos. Al conectar datos de CRM, datos de ingresos, datos de marketing y datos contables, Smeetz ahora tiene una visión holística de su negocio, lo que permite una toma de decisiones mejor informada. Además, los modelos de datos construidos en DBT Cloud han facilitado cálculos avanzados, permitiendo la generación de métricas clave como el CAC (Costo de Adquisición de Clientes), el LTV (Valor de Vida del Cliente) y más.

Fácil acceso a métricas clave

Con Looker Studio como solución de visualización de datos, los equipos de negocio de Smeetz pueden acceder y explorar fácilmente las métricas e informes clave. La interfaz fácil de usar y las potentes funcionalidades de Looker Studio permiten a los interesados obtener información sobre el rendimiento del negocio, realizar un seguimiento de los KPI y tomar decisiones basadas en datos rápidamente.

Ahorro de tiempo y recursos

El cambio de la elaboración manual de informes a un sistema de informes en línea automatizado ha supuesto un ahorro sustancial de tiempo y recursos para Smeetz. Al reducir el tiempo dedicado al mantenimiento y la actualización de los informes, el equipo puede ahora centrarse en analizar los datos y extraer información valiosa que impulse el crecimiento del negocio.

Escalabilidad y estandarización

El nuevo sistema de informes es escalable y se adapta al crecimiento de Smeetz a medida que expande su presencia en el mercado a múltiples países. Los flujos de trabajo estandarizados de procesamiento de datos y elaboración de informes, facilitados por la pila tecnológica, garantizan la coherencia y fiabilidad en la generación de informes, lo cual es crucial a medida que la organización sigue escalando.

#6 ¿Qué sigue?

Con la exitosa implementación del sistema de informes en línea automatizado, Smeetz se encuentra ahora en una posición sólida para mejorar aún más sus capacidades de toma de decisiones basadas en datos. Estos son algunos de los posibles próximos pasos:

Análisis avanzado y modelado predictivo

Ahora que Smeetz cuenta con una base sólida en gestión de datos y elaboración de informes, la empresa puede explorar técnicas de análisis avanzado y modelado predictivo. Al aprovechar los datos disponibles en Google BigQuery y las capacidades analíticas de Looker Studio, Smeetz puede descubrir conocimientos más profundos, identificar tendencias y realizar predicciones basadas en datos sobre el comportamiento del cliente y las tendencias del mercado.

Integración de aprendizaje automático

La integración del aprendizaje automático en el proceso de elaboración de informes puede proporcionar conocimientos y recomendaciones aún más sofisticados. Al aprovechar los algoritmos de aprendizaje automático, Smeetz puede automatizar tareas como la segmentación de clientes, la predicción de la rotación y la previsión de la demanda, lo que conduce a operaciones más eficientes y mejores experiencias para el cliente.

Mejora continua y colaboración

El camino de la toma de decisiones basada en datos es continuo. Smeetz debe fomentar una cultura de mejora continua, revisando y perfeccionando regularmente su sistema de informes para satisfacer las necesidades empresariales en evolución. La colaboración entre los equipos de negocio y los equipos técnicos es crucial para garantizar que el sistema de informes se mantenga alineado con los objetivos empresariales y se adapte a los requisitos cambiantes.

Al adoptar estos próximos pasos, Smeetz puede seguir aprovechando el poder de los datos para impulsar el crecimiento, la innovación y el éxito en el competitivo panorama de las startups y más allá.