“The end of the modern data stack in a 1990’s theme”, Dall-E “El fin del stack de datos moderno en un tema de los años 1990”, Dall-E
In my last issue, Thoughts Going Into a New Year, I said: En mi último número, Pensamientos yendo hacia un nuevo año, dije:
We continue to be in the deployment phase for the MDS Continuamos en la fase de implementación para el MDS
The modern data stack that we’ve all come to love over the past decade isn’t going anywhere; its categories are getting increasingly mature and increasingly well-integrated. Its technologies and best practices are getting more widely deployed, both to more companies and more broadly inside of companies. El stack de datos moderno que todos hemos llegado a amar en la última década no va a ninguna parte; sus categorías se están volviendo cada vez más maduras e integradas. Sus tecnologías y mejores prácticas se están desplegando de manera más amplia, tanto en más empresas como de manera más generalizada dentro de las empresas.
This is the phase of any cycle where the real work gets done and where the real value gets created. It’s the phase for getting living in the trenches and solving real problems. The MDS was the future five years ago and it’s still the future today, but we actually have to roll up our sleeves to make the replatforming happen. Esta es la fase de cualquier ciclo donde se hace el trabajo real y donde se crea el valor real. Es la fase para vivir en las trincheras y resolver problemas reales. El MDS era el futuro hace cinco años y todavía es el futuro hoy, pero realmente tenemos que remangarnos para que ocurra la replataformación.
Over the last month this has been bugging me. I don’t know if you’ve ever had that nagging feeling after writing something that just doesn’t feel right, but writing this knocked something loose in my head. Since then, I’ve become a little obsessed with the question: what’s going on with the modern data stack? Durante el último mes esto me ha estado molestando. No sé si alguna vez has tenido esa sensación molesta después de escribir algo que simplemente no se siente correcto, pero al escribir esto algo se soltó en mi cabeza. Desde entonces, me he obsesionado un poco con la pregunta: ¿qué está pasando con el stack de datos moderno?
I became increasingly confident that something had changed. Sure, it was easy to point to the superficial changes. But I felt like there was a more interesting narrative to tell, and as both a historian of this technology wave and a founder responsible for navigating it, I wanted to nail this down. I caught up with a bunch of folks I respect, from founders to practitioners to VCs, and want to use this newsletter as a way to share my current thinking. I can’t share all of my datapoints on the current state of the world (many of them are proprietary) but I’ll share as much as I can. Me volví cada vez más seguro de que algo había cambiado. Claro, era fácil señalar los cambios superficiales. Pero sentía que había una narrativa más interesante que contar, y como historiador de esta ola tecnológica y fundador responsable de navegarla, quería aclarar esto. Me puse al día con un montón de personas que respeto, desde fundadores hasta profesionales hasta inversores, y quiero usar este boletín como una forma de compartir mi pensamiento actual. No puedo compartir todos mis puntos de datos sobre el estado actual del mundo (muchos de ellos son confidenciales) pero compartiré tanto como pueda.
Let’s start at the beginning. Comencemos desde el principio.
In 2016, the modern data stack was a well-defined idea. En 2016, el stack de datos moderno era una idea bien definida.
It was never an industry or a software category or a Gartner Magic Quadrant. When the data community started using this term it simply meant a set of products that a) redesigned the analytics workflow to take advantage of the cloud and b) all interacted with one another via SQL. Nunca fue una industria o una categoría de software o un Cuadrante Mágico de Gartner. Cuando la comunidad de datos comenzó a usar este término, simplemente significaba un conjunto de productos que a) rediseñaban el flujo de trabajo analítico para aprovechar la nube y b) todos interactuaban entre sí a través de SQL.
Looker was one of the classic examples. BI built for Redshift, taking advantage of the inherent performance and scalability improvements native to that platform. The idea that you could have a mature BI solution without any local processing or caching was novel in 2013. Looker fue uno de los ejemplos clásicos. BI construido para Redshift, aprovechando las mejoras de rendimiento y escalabilidad inherentes a esa plataforma. La idea de que se pudiera tener una solución madura de BI sin ningún procesamiento o almacenamiento en caché local era novedosa en 2013.
Fivetran and dbt are also classic examples. The cloud meant that ETL should be rebuilt as ELT, which created a dramatically new, lower-cost, lower-friction, more accessible way of doing this critical, but traditionally very painful, data work. Fivetran y dbt también son ejemplos clásicos. La nube significaba que ETL debería reconstruirse como ELT, lo que creó una forma dramáticamente nueva, de menor costo, de menor fricción y más accesible de hacer este trabajo crítico, pero tradicionalmente muy doloroso, de datos.
The MDS: analytics products, designed to take advantage of the cloud, interacting via SQL. El MDS: productos analíticos, diseñados para aprovechar la nube, interactuando a través de SQL.
In 2016, when I started talking about this, the fact that a product had been designed to take advantage of the cloud was important. It created massive differentiation for those products—many ran circles around pre-existing products because they were built from scratch with totally different priors. En 2016, cuando comencé a hablar sobre esto, el hecho de que un producto hubiera sido diseñado para aprovechar la nube era importante. Creó una diferenciación masiva para esos productos—muchos superaban con creces a los productos preexistentes porque se construyeron desde cero con prioridades totalmente diferentes.
When I was a consultant, helping small companies build analytics capabilities, I would only work with MDS tooling. It was so much better that I simply wouldn’t take on a project if the client wanted to use pre-cloud tools. I, and others like me, needed a way to talk about this preference, to differentiate between these new products and all of the other ones that we didn’t want to use. The term actually conveyed important information. Cuando era consultor, ayudando a pequeñas empresas a construir capacidades analíticas, solo trabajaba con herramientas MDS. Era mucho mejor que simplemente no aceptaba un proyecto si el cliente quería usar herramientas pre-cloud. Yo, y otros como yo, necesitábamos una forma de hablar sobre esta preferencia, para diferenciar entre estos nuevos productos y todos los demás que no queríamos usar. El término realmente transmitía información importante.
Today, most data products are built for the cloud. Either they have been built in the past ten years and therefore baked in cloud-first assumptions, or they have been re-architected to do so. Hoy en día, la mayoría de los productos de datos están construidos para la nube. O bien han sido construidos en los últimos diez años y por lo tanto incorporan suposiciones de nube en primer lugar, o han sido re-arquitectados para hacerlo.
Another of my posts from 2016 compares Looker and Tableau, and criticizes Tableau for not being able to effectively process certain types of data (particularly clickstream data). This was true…in 2016. Tableau’s Redshift integration back then was quite bad; the SQL that it wrote was not at all performant on large datasets. This should not be surprising because nearly all data processing in Tableau happened via local extracts at the time. Tableau on top of clickstream data wasn’t really a thing, as prior to Redshift *almost no BI tech *could handle clickstream data and users didn’t expect this. Otro de mis posts de 2016 compara Looker y Tableau, y critica a Tableau por no poder procesar efectivamente ciertos tipos de datos (especialmente datos de clickstream). Esto era cierto... en 2016. La integración de Tableau con Redshift en ese entonces era bastante mala; el SQL que generaba no era para nada eficiente en conjuntos de datos grandes. Esto no debería ser sorprendente porque casi todo el procesamiento de datos en Tableau se realizaba a través de extracciones locales en ese momento. Tableau sobre datos de clickstream no era realmente una opción, ya que antes de Redshift *casi ninguna tecnología de BI *podía manejar datos de clickstream y los usuarios no esperaban esto.
So: in 2016, differentiating between Looker (MDS) and Tableau (pre-MDS) was useful. But 8 years later, with the explosion of data processing happening in the cloud, Tableau has evolved. I’m sure it wasn’t easy for the Tableau team to go on its cloud journey, but it is one that most pre-cloud data companies have gone through. I have talked to the founders of so many of these companies and “migrating to the cloud” is almost always this harrowing bet-the-company march through the desert. But it’s so existential that everyone does it anyway (or dies trying). Entonces: en 2016, diferenciar entre Looker (MDS) y Tableau (pre-MDS) era útil. Pero 8 años después, con la explosión del procesamiento de datos en la nube, Tableau ha evolucionado. Estoy seguro de que no fue fácil para el equipo de Tableau embarcarse en su viaje a la nube, pero es uno por el que la mayoría de las empresas de datos pre-cloud han pasado. He hablado con los fundadores de tantas de estas empresas y 'migrar a la nube' es casi siempre esta marcha desgarradora de apostar la empresa a través del desierto. Pero es tan existencial que todos lo hacen de todos modos (o mueren en el intento).
So—does that mean that Tableau “joined the modern data stack” once it improved its cloud-native capabilities? Not…really? I don’t think anyone would say “Tableau is a modern data stack company.” But then…what information is the MDS designation really conveying at this point? The useful information content that existed in 2016 is no longer present. Entonces, ¿significa eso que Tableau 'se unió al modern data stack' una vez que mejoró sus capacidades nativas de la nube? ¿No...realmente? No creo que nadie diría 'Tableau es una empresa de modern data stack'. Pero entonces...¿qué información está transmitiendo realmente la designación de MDS en este punto? El contenido de información útil que existía en 2016 ya no está presente.
Of course, as with many ideas, we didn’t stop using the term just because it stopped conveying the same information content. Instead, the MDS morphed from a descriptive term into a meme. Por supuesto, como con muchas ideas, no dejamos de usar el término solo porque dejó de transmitir el mismo contenido de información. En cambio, el MDS se transformó de un término descriptivo en un meme.
I worried we had hit peak MDS when I went to big investment banker conference and a very senior banker said something like “the market can’t get enough of all of these modern data stack companies!” I was confused, because a) I was in the community that coined that term, and b) there were no publicly-traded MDS companies I knew of aside from Snowflake. So, I asked him what companies he was referring to. He mentioned Mongo, Datadog, and Confluent. Me preocupaba que hubiéramos alcanzado el pico de MDS cuando fui a una gran conferencia de banqueros de inversión y un banquero muy senior dijo algo así como '¡el mercado no puede tener suficiente de todas estas empresas de modern data stack!' Estaba confundido, porque a) estaba en la comunidad que acuñó ese término, y b) no había empresas de MDS cotizadas en bolsa que conociera aparte de Snowflake. Entonces, le pregunté a qué empresas se refería. Mencionó Mongo, Datadog y Confluent.
Now, all of these are great companies that I look up to and respect. But…these are not “modern data stack” companies as far as I understood the term. Ahora, todas estas son grandes empresas a las que admiro y respeto. Pero...no son empresas de 'modern data stack' según entendía el término.
What had happened here is that, circa 2021, the MDS had officially jumped the shark. From 2020 to 2022, the meteoric rise of Snowflake and Databricks and a few other companies had caused (mostly private market) investors to go all-in on this market trend in a way that very rarely happens. And so being a “modern data stack” company was valuable. Just like an index fund needs to hold a certain % in each stock in the index, every VC needed exposure to the MDS trend. And this euphoria bled into public market investors who sought out whatever exposure they could get. Lo que había sucedido aquí es que, alrededor de 2021, el MDS había oficialmente saltado el tiburón. De 2020 a 2022, el ascenso meteórico de Snowflake y Databricks y algunas otras empresas había provocado que los inversores (principalmente del mercado privado) se lanzaran de lleno a esta tendencia del mercado de una manera que rara vez sucede. Y así ser una empresa de 'modern data stack' era valioso. Así como un fondo de índice necesita tener un cierto % en cada acción del índice, cada VC necesitaba exposición a la tendencia de MDS. Y esta euforia se trasladó a los inversores del mercado público que buscaban cualquier exposición que pudieran obtener.
But it wasn’t just about investor sentiment. Investor sentiment was driven by real adoption trends, and in turn drove press interest, and then further customer awareness and adoption. The number of enterprise CDOs who woke up to the MDS in that 3-year period was incredible, and it was driven by this cycle of early-adopters > investors > press coverage > more adopters. Pero no se trataba solo de sentimiento de los inversores. El sentimiento de los inversores estaba impulsado por tendencias reales de adopción, y a su vez impulsaba el interés de la prensa, y luego la conciencia y adopción de más clientes. El número de directores de datos empresariales que se dieron cuenta del MDS en ese período de 3 años fue increíble, y fue impulsado por este ciclo de primeros adoptantes > inversores > cobertura de prensa > más adoptantes.
This is not a bad thing! This is just how enterprise tech works. But along the way, the phrase lost its attachment to the underlying information it was conveying. It was no longer describing some specific trait that products like Looker and Fivetran and dbt had and others didn’t, it was just…a meme. A market trend. ¡Esto no es algo malo! Así es como funciona la tecnología empresarial. Pero en el camino, la frase perdió su conexión con la información subyacente que transmitía. Ya no describía algún rasgo específico que productos como Looker y Fivetran y dbt tenían y otros no, era simplemente... un meme. Una tendencia de mercado.
And once a trend gains momentum, it can become self-fulfilling. Y una vez que una tendencia gana impulso, puede volverse autocumplida.
Imagine it’s 2021, peak MDS, and you meet the CDO of a large bank. “Oh cool,” she says, “you’re the CEO of a tech company. What does your product do?” What do you say? Imagina que es 2021, la cima del MDS, y te encuentras con la directora de datos de un gran banco. 'Oh genial', dice ella, 'eres el CEO de una empresa tecnológica. ¿Qué hace tu producto?' ¿Qué respondes?
-
“We build a tool that leverages the power of the cloud to apply standard SQL and software engineering best practices to the historically mundane (but critical!) job of data transformation.” “Creamos una herramienta que aprovecha el poder de la nube para aplicar SQL estándar y las mejores prácticas de ingeniería de software al trabajo históricamente mundano (¡pero crítico!) de transformación de datos.”
-
“We’re the standard for data transformation in the modern data stack.” “Somos el estándar para la transformación de datos en el stack de datos moderno.”
I will tell you that, empirically, option #2 is more effective. And that wasn’t just true for me, it was likely true for every founder building products in the space. Investors and buyers both understand what you meant faster and better if you relate your product to trends they are already familiar with. Te diré que, empíricamente, la opción #2 es más efectiva. Y eso no solo era cierto para mí, probablemente era cierto para cada fundador que construía productos en el espacio. Tanto inversores como compradores entienden más rápido y mejor lo que quieres decir si relacionas tu producto con tendencias con las que ya están familiarizados.
So once the MDS had become a part of the lexicon for VCs and CDOs and bankers, founders had every reason to claim the moniker for their own products. This isn’t a *problem *(or a conspiracy!), this is just how capitalism and ideas work. Entonces, una vez que el MDS se había convertido en parte del léxico de los VC, los CDO y los banqueros, los fundadores tenían todas las razones para reclamar el título para sus propios productos. Esto no es un problema (¡ni una conspiración!), así es como funcionan el capitalismo y las ideas.
This is when the vendor ecosystem in the modern data stack reached peak collaboration. The end-to-end problem was far too big for any one startup to solve, and so swim lanes were established and partnership ruled the day. Este fue el momento en que el ecosistema de proveedores en el stack de datos moderno alcanzó su máxima colaboración. El problema de extremo a extremo era demasiado grande para que una startup lo resolviera, por lo que se establecieron carriles de natación y la asociación gobernó el día.
There was a lot of valuable co-marketing, partnership deals, co-sponsored events, and co-selling. This had real value for everyone involved—customers and vendors alike. Companies voluntarily integrated their products together, cross-promoted each other publicly, and built partnerships that made owning and operating these technologies far easier for customers. Hubo mucho valor en la co-marketing, acuerdos de asociación, eventos co-patrocinados y co-venta. Esto tenía un valor real para todos los involucrados, tanto clientes como proveedores. Las empresas integraron voluntariamente sus productos juntos, se promocionaron mutuamente públicamente y construyeron asociaciones que facilitaron mucho la propiedad y operación de estas tecnologías para los clientes.
And, with clearly defined swim lanes and a need to create ‘better together’ stories to sell a complete solution, companies had a real route to market for their products as a part of this industry trend. If you built something great that solved problems for both partners and customers, you could get initial traction with partner-led sales pretty easily. Y, con carriles de natación claramente definidos y la necesidad de crear historias de 'mejor juntos' para vender una solución completa, las empresas tenían una verdadera vía al mercado para sus productos como parte de esta tendencia de la industria. Si construías algo genial que resolvía problemas tanto para los socios como para los clientes, podías obtener tracción inicial con ventas lideradas por socios bastante fácilmente.
This was a beautiful thing. Private capital fueling founders, who not only built their own products but were consciously coming together to build an ecosystem, leading to the rapid buildout of interoperable products all taking advantage of a new technology platform (the cloud). Esto fue algo hermoso. Capital privado impulsando a los fundadores, que no solo construían sus propios productos, sino que conscientemente se unían para construir un ecosistema, lo que llevaba a la rápida expansión de productos interoperables que aprovechaban una nueva plataforma tecnológica (la nube).
But eventually the party stopped, and it stopped for two reasons: Pero eventualmente la fiesta se detuvo, y se detuvo por dos razones:
-
The changing market environment impacted both buyer and investor behaviors El entorno de mercado cambiante afectó tanto el comportamiento de los compradores como de los inversores
-
AI crowds out the MDS as the primary industry trend in data La inteligencia artificial desplaza al MDS como la tendencia principal de la industria en datos
The market shifted in two ways: investor behavior changed and buyer behavior changed. Simultaneously. One of these things changing is disruptive; both of them changing at the same time is enough to reshuffle the whole deck. El mercado cambió de dos maneras: el comportamiento de los inversores cambió y el comportamiento de los compradores cambió. Simultáneamente. Uno de estos cambios es disruptivo; que ambos cambien al mismo tiempo es suficiente para reorganizar todo el mazo.
On investor behavior: modern data stack companies were getting epic valuations up through EOY2021 / into early 2022. dbt Labs was certainly a part of this! At the peak, valuations reached 100x forward ARR. Investors said: estimate what your annual recurring revenue will be in 12 months, multiply that by 100, and that’s how we’ll value the company. That is historically aggressive. It reflects not only the belief in the MDS market trend on the part of investors, but also the very real search for growth on the part of investors during the zero interest rate era (ZIRP). Sobre el comportamiento de los inversores: las empresas de la pila de datos moderna estaban obteniendo valoraciones épicas hasta finales de 2021 / principios de 2022. ¡dbt Labs ciertamente fue parte de esto! En el pico, las valoraciones alcanzaron 100 veces el ARR futuro (Ingresos Anuales Recurrentes). Los inversores decían: estima cuál será tu ingreso recurrente anual en 12 meses, multiplícalo por 100, y así valoraremos la empresa. Eso es históricamente agresivo. Refleja no solo la creencia en la tendencia del mercado de MDS por parte de los inversores, sino también la búsqueda muy real de crecimiento por parte de los inversores durante la era de tasas de interés cero (ZIRP).
As inflation climbed and interest rates adjusted upwards very quickly during 2022, the market reset. Private multiples are now more like 10-20x forward revenue, so dropping 80%+. A medida que la inflación subía y las tasas de interés se ajustaban rápidamente al alza durante 2022, el mercado se reinició. Las múltiplos privados ahora son más bien de 10-20 veces los ingresos futuros, disminuyendo más del 80%.
Basically all MDS companies were/are VC-backed. And when valuations are high, companies have the capital to invest in sales, marketing, R&D, community teams, everything. With plenty of capital, partnership teams are large, everyone has bandwidth to do comarketing events, and there are engineers to build integrations. Básicamente todas las empresas de MDS estaban/están respaldadas por capital de riesgo. Y cuando las valoraciones son altas, las empresas tienen el capital para invertir en ventas, marketing, I+D, equipos de comunidad, todo. Con mucho capital, los equipos de asociaciones son grandes, todos tienen capacidad para realizar eventos de co-marketing, y hay ingenieros para construir integraciones.
As capital becomes scarce and efficiency is in the crosshairs, companies cut all but the most essential activities. Even if every MDS company were long-term healthy, much of the ecosystem dynamic dies without these investments. Companies put their heads down and focus on the fundamentals. A medida que el capital escasea y la eficiencia está en el punto de mira, las empresas recortan todas las actividades excepto las más esenciales. Incluso si cada empresa de MDS fuera saludable a largo plazo, gran parte de la dinámica del ecosistema muere sin estas inversiones. Las empresas se centran en los fundamentos.
Changes in buyer behavior are at least as impactful. CFOs took a scalpel to data budgets, looking to save money on both headcount and software spend. The euphemism “cloud optimization” has been used extensively over the past ~18 months on earnings calls to describe this behavior, and it’s often the smallest companies with the most nascent products that get cut first. Even in customer relationships that lasted through this period, many experienced reduced contract sizes as layoffs impacted many, many data teams. Los cambios en el comportamiento de los compradores son al menos tan impactantes. Los directores financieros hicieron recortes en los presupuestos de datos, buscando ahorrar dinero tanto en personal como en gastos de software. El eufemismo “optimización en la nube” se ha utilizado extensamente en los últimos ~18 meses en las llamadas de ganancias para describir este comportamiento, y a menudo son las empresas más pequeñas con los productos más incipientes las primeras en ser recortadas. Incluso en las relaciones con los clientes que duraron durante este período, muchos experimentaron reducciones en el tamaño de los contratos a medida que los despidos afectaron a muchos equipos de datos.
All of this hurt growth for all software companies, and it hurt the smallest ones the most. These companies had the smallest balance sheets, smallest customer lists, just generally the least resources to weather the storm. Some of these companies have gone away already; some live on but are shells of their former selves. Todo esto perjudicó el crecimiento de todas las empresas de software, y perjudicó más a las más pequeñas. Estas empresas tenían los balances más pequeños, las listas de clientes más pequeñas, en general, los recursos más escasos para capear la tormenta. Algunas de estas empresas ya han desaparecido; algunas siguen existiendo pero son sombras de lo que eran antes.
Companies in the top quartile are still significantly impacted. Where they may have all once felt they had a clear path to long-term independence, many are now questioning that. They’re doing fine, but wondering what their 5 year path looks like. Las empresas en el cuartil superior siguen siendo significativamente afectadas. Donde antes todas sentían que tenían un camino claro hacia la independencia a largo plazo, muchas ahora lo están cuestionando. Les va bien, pero se preguntan cómo será su camino en los próximos 5 años.
Even the most financially successful few companies in the MDS (and I’d count us as one of them) likely had a challenging year last year amidst all of these changes. All of us have retooled for growth in a different environment but are fortunate to have strong product-market fit in important categories—this has allowed us to make these adjustments and come out the other side strong. Incluso las pocas empresas más exitosas financieramente en el MDS (y me incluiría a nosotros como una de ellas) probablemente tuvieron un año desafiante el año pasado en medio de todos estos cambios. Todos nos hemos reajustado para el crecimiento en un entorno diferente pero tenemos la suerte de tener un ajuste sólido entre producto y mercado en categorías importantes, lo que nos ha permitido hacer estos ajustes y salir fortalecidos al otro lado.
Finally, as a result of all of this pressure on data spend, buyers developed a strong preference to buy integrated solutions rather than to buy many tools to construct a stack. Buyer willingness to construct a stack from 8-12 vendors has declined significantly. Companies are much more likely today to expect to buy 2-4 products as the core of their analytics infrastructure. This creates yet more pressure for consolidation, and will likely drive more M&A activity and competition across the vendor landscape. Finalmente, como resultado de toda esta presión en el gasto de datos, los compradores desarrollaron una fuerte preferencia por comprar soluciones integradas en lugar de comprar muchas herramientas para construir una pila. La disposición de los compradores a construir una pila a partir de 8-12 proveedores ha disminuido significativamente. Las empresas hoy son mucho más propensas a esperar comprar 2-4 productos como núcleo de su infraestructura analítica. Esto crea aún más presión para la consolidación, y probablemente impulsará más actividad de fusiones y adquisiciones y competencia en el panorama de proveedores.
Overall: what once was a collaborative modern data stack ecosystem full of startups and growth and comarketing and event sponsorships has been supplanted by a bunch of companies focused on executing and where partnerships are still important but only when they have clearly-demonstrated ROI. En general: lo que una vez fue un ecosistema colaborativo de pila de datos moderna lleno de startups y crecimiento y co-marketing y patrocinios de eventos ha sido reemplazado por un montón de empresas centradas en la ejecución y donde las asociaciones siguen siendo importantes pero solo cuando tienen un ROI claramente demostrado.
This is all very natural, and long-term for the best! But the vibes, they are a-changin’. ¡Todo esto es muy natural, y a largo plazo lo mejor! Pero las vibraciones, están cambiando.
A market trend is only as relevant as the attention it commands and the investor behavior it drives. Una tendencia de mercado solo es relevante según la atención que recibe y el comportamiento de los inversores que impulsa.
The MDS was a big, important market trend. But AI is bigger. A lot bigger. And it’s hard for data investors and data buyers to focus on too many trends at once. El MDS fue una gran tendencia de mercado importante. Pero la IA es aún mayor. Mucho mayor. Y es difícil para los inversores de datos y los compradores de datos enfocarse en demasiadas tendencias a la vez.
This means that, even though AI and the MDS are highly complimentary, the massive attention being paid to AI right now detracts from the MDS as an industry trend. This is just a fact. You can likely see this in your own experience over the last couple of years, and it shows up in a million ways in my day-to-day. Esto significa que, aunque la IA y el MDS se complementan altamente, la enorme atención que se le está prestando a la IA en este momento resta importancia al MDS como tendencia de la industria. Esto es simplemente un hecho. Probablemente puedas verlo en tu propia experiencia durante los últimos años, y se refleja de mil maneras en mi día a día.
And you know what? I’m more than ok with that. It’s fun to be at the center of the world for a little while. But at the end of the day what matters isn’t your Google Trends ranking, it’s whether or not you’re impacting real people, whether you’re building a lasting business. Being out of the spotlight is helpful: it’s grounding, focusing. ¿Y sabes qué? Estoy más que bien con eso. Es divertido estar en el centro del mundo por un tiempo. Pero al final del día, lo que importa no es tu clasificación en Google Trends, sino si estás impactando a personas reales, si estás construyendo un negocio duradero. Estar fuera del foco de atención es útil: es centrador, enfocante.
Moreover, this ‘turning point’ is a core feature in the process of developing new technologies. From Carlota Perez’s framework that I cite frequently: Además, este 'punto de inflexión' es una característica clave en el proceso de desarrollo de nuevas tecnologías. Según el marco de Carlota Perez que cito con frecuencia:
https://www.shortform.com/pdf/technological-revolutions-and-financial-capital-pdf-carlota-perez https://www.shortform.com/pdf/technological-revolutions-and-financial-capital-pdf-carlota-perez
I won’t go through a review of the entire framework and the role of the ‘financial bubble’ in the process (this post is already long!) but IMO what we’ve experienced over the past year is pretty classic. No voy a hacer una revisión de todo el marco y el papel de la 'burbuja financiera' en el proceso (¡este post ya es largo!) pero en mi opinión, lo que hemos experimentado en el último año es bastante clásico.
Over the course of ~7 years, “modern data stack” went through a cycle: from descriptive technical term to meme / market trend to ecosystem. Today, IMHO, it’s no longer useful in any of those roles. Today, I’m swearing off using the term “modern data stack” and I think you probably should too. A lo largo de ~7 años, el 'conjunto de datos moderno' pasó por un ciclo: desde un término técnico descriptivo a un meme / tendencia de mercado a un ecosistema. Hoy, en mi humilde opinión, ya no es útil en ninguno de esos roles. Hoy, renuncio a usar el término 'conjunto de datos moderno' y creo que tú también deberías hacerlo.
It turns out, you just don’t need it. Resulta que simplemente no lo necesitas.
dbt still does data transformation. Fivetran still does data ingestion. Looker still does BI. Each of these products (and more) are all leading players in the analytics stack. dbt sigue haciendo transformación de datos. Fivetran sigue haciendo ingestión de datos. Looker sigue haciendo BI. Cada uno de estos productos (y más) son jugadores líderes en el conjunto de análisis.
See? Not so hard! We help people do analytics. Our products are bought from analytics budget lines. Analytics is both a profession and a source of business value creation. ¿Ves? ¡No es tan difícil! Ayudamos a las personas a hacer análisis. Nuestros productos se compran con líneas de presupuesto de análisis. Análisis es tanto una profesión como una fuente de creación de valor empresarial.
Calling our ecosystem the “modern data stack” is continually fighting the last war. But the cloud has won; all data companies are now cloud data companies. Let’s move on. Analytics is how I plan on speaking about and thinking about our industry moving forwards—not some microcosm of “analytics companies founded in the post-cloud era.” Llamar a nuestro ecosistema el 'conjunto de datos moderno' es seguir luchando contra la última guerra. Pero la nube ha ganado; todas las empresas de datos son ahora empresas de datos en la nube. Sigamos adelante. Análisis es cómo planeo hablar y pensar sobre nuestra industria en el futuro, no como un microcosmos de 'empresas de análisis fundadas en la era post-nube'.
There are some interesting implications of this reframing, and they’re healthy. For one: it makes the pond bigger. It makes it clear that, whenever you were founded, you’re competing with the leaders in your space, new or old. If you do BI, you’re competing with Tableau and PowerBI, and you need to win on that stage. Hay algunas implicaciones interesantes de este replanteamiento, y son saludables. Por un lado: hace que el estanque sea más grande. Hace claro que, sin importar cuándo hayas sido fundado, estás compitiendo con los líderes en tu espacio, nuevos o antiguos. Si haces BI, estás compitiendo con Tableau y PowerBI, y necesitas destacar en ese escenario.
It also grounds us all more firmly in the history of the analytics space. Yes, the cloud changes a lot about the way we work with data, but it doesn’t blow up everything from the pre-cloud era. Many practitioners who have started their careers in the past decade (and many vendors!) have some very pre-cloud lessons to (re-)learn. I’ve already started to revisit/refine some of my long-held beliefs and it’s been a very productive headspace. More on that in a future issue. También nos afianza a todos más firmemente en la historia del espacio de análisis. Sí, la nube cambia mucho la forma en que trabajamos con datos, pero no lo cambia todo de la era pre-nube. Muchos profesionales que han comenzado sus carreras en la última década (¡y muchos proveedores!) tienen algunas lecciones muy pre-nube que (re)aprender. Ya he comenzado a revisar/refinar algunas de mis creencias arraigadas y ha sido un espacio mental muy productivo. Más sobre eso en un próximo número.
=== ===
My goal in writing this isn’t to spark some linguistic change throughout our little community. I’m not going to become some anti-MDS grump on Linkedin. The point isn’t the words, really, it’s the fact that the underlying reality has changed. So: whether or not you continue to say “modern data stack”—the world in which that phrase rose to prominence just doesn’t exist any more. Mi objetivo al escribir esto no es provocar algún cambio lingüístico en nuestra pequeña comunidad. No voy a convertirme en un gruñón anti-MDS en Linkedin. La cuestión no son las palabras en realidad, sino el hecho de que la realidad subyacente ha cambiado. Así que, ya sea que sigas diciendo “modern data stack” o no, el mundo en el que esa frase cobró prominencia simplemente ya no existe.
That’s ok! All of this is really a side story to the very real benefits that a set of technologies and workflows have created for very real practitioners and their employers. But I as a long-time observer of this space, I find it fascinating. ¡Está bien! Todo esto es realmente una historia secundaria en comparación con los beneficios muy reales que un conjunto de tecnologías y flujos de trabajo han creado para practicantes reales y sus empleadores. Pero como observador de este espacio desde hace mucho tiempo, lo encuentro fascinante.
This newsletter is sponsored by dbt Labs. Discover why more than 30,000 companies use dbt to accelerate their data development. Este boletín es patrocinado por dbt Labs. Descubre por qué más de 30,000 empresas utilizan dbt para acelerar su desarrollo de datos.