I think I’m probably going to lose quite a lot of money in the next year or two. It’s partly AI’s fault, but not mostly. Nonetheless I’m mostly going to write about AI, because it intersects the technosphere, where I’ve lived for decades. Creo que probablemente vaya a perder bastante dinero en el próximo año o dos. Es en parte culpa de la inteligencia artificial (AI), pero no principalmente. Sin embargo, principalmente voy a escribir sobre AI, porque se cruza con la tecnosfera, donde he vivido durante décadas.
I’ve given up having a regular job. The family still has income but mostly we’re harvesting our savings, built up over decades in a well-paid profession. Which means that we are, willy-nilly, investors. And thus aware of the fever-dream finance landscape that is InvestorWorld. He renunciado a tener un trabajo regular. La familia todavía tiene ingresos, pero principalmente estamos utilizando nuestros ahorros, acumulados durante décadas en una profesión bien remunerada. Lo que significa que somos, quieras o no, inversores. Y por lo tanto, conscientes del paisaje de finanzas de ensueño febril que es el Mundo de los Inversores.
The Larger Bubble · Put in the simplest way: Things have been too good for too long in InvestorWorld: low interest, high profits, the unending rocket rise of the Big-Tech sector, now with AI afterburners. Wile E. Coyote hasn’t actually run off the edge of the cliff yet, but there are just way more ways for things to go wrong than right in the immediate future. La Burbuja Más Grande · Expresado de la manera más simple: Las cosas han estado demasiado bien durante demasiado tiempo en el Mundo de los Inversores: bajos intereses, altas ganancias, el ascenso interminable del sector de la Gran Tecnología, ahora con postquemadores de AI. Wile E. Coyote aún no ha corrido realmente al borde del acantilado, pero hay muchas más formas para que las cosas salgan mal que bien en el futuro inmediato.
If you want to dive a little deeper, The Economist has a sharp (but paywalled) take in Stockmarkets are booming. But the good times are unlikely to last. Their argument is that profits are overvalued by investors because, in recent years, they’ve always gone up. Mr Market ignores the fact that at least some of those gleaming profits are artifacts of tax-slashing by right-wing governments. Si quieres profundizar un poco, The Economist tiene un análisis agudo (pero de pago) en Los mercados de valores están en auge. Pero es poco probable que los buenos tiempos duren. Su argumento es que los inversores sobrevaloran las ganancias porque, en los últimos años, siempre han aumentado. El Sr. Mercado ignora el hecho de que al menos algunas de esas relucientes ganancias son artefactos de la reducción de impuestos por parte de gobiernos de derecha.
That piece considers the observation that “Many investors hope that AI will ride to the rescue” and is politely skeptical. Ese artículo considera la observación de que 'Muchos inversores esperan que la AI venga al rescate' y es educadamente escéptico.
Popping the bubble · My own feelings aren’t polite; closer to Yep, you are living in a Nvidia-led tech bubble by Brian Sozzi over at Yahoo! Finance. Estallando la burbuja · Mis propios sentimientos no son educados; más cercanos a Sí, estás viviendo en una burbuja tecnológica liderada por Nvidia por Brian Sozzi en Yahoo! Finance.
Sozzi is fair, pointing out that this bubble feels different from the cannabis and crypto crazes; among other things, chipmakers and cloud providers are reporting big high-margin revenues for real actual products. But he hammers the central point: What we’re seeing is FOMO-driven dumb money thrown at technology by people who have no hope of understanding it. Just because everybody else is and because the GPTs and image generators have cool demos. Sozzi has the numbers, looking at valuations through standard old-as-dirt filters and shaking his head at what he sees. Sozzi es justo, señalando que esta burbuja se siente diferente de las locuras del cannabis y las criptomonedas; entre otras cosas, los fabricantes de chips y proveedores de servicios en la nube están reportando grandes ingresos de márgenes altos por productos reales. Pero él destaca el punto central: Lo que estamos viendo es dinero tonto impulsado por FOMO lanzado a la tecnología por personas que no tienen esperanza de entenderla. Solo porque todos los demás lo están haciendo y porque los GPTs y generadores de imágenes tienen demos geniales. Sozzi tiene los números, mirando las valoraciones a través de filtros estándar antiguos y sacudiendo la cabeza ante lo que ve.
What’s going to happen, I’m pretty sure, is that AI/ML will, inevitably, disappoint; in the financial sense I mean, probably doing some useful things, maybe even a lot, but not generating the kind of profit explosions that you’d need to justify the bubble. So it’ll pop, and my bet it is takes a bunch of the finance world with it. As bad as 2008? Nobody knows, but it wouldn’t surprise me. Lo que va a suceder, estoy bastante seguro, es que la AI/ML, inevitablemente, decepcionará; en el sentido financiero me refiero, probablemente haciendo algunas cosas útiles, tal vez incluso muchas, pero no generando el tipo de explosiones de ganancias que necesitarías para justificar la burbuja. Así que explotará, y apuesto a que se llevará consigo a una parte del mundo financiero. ¿Tan malo como en 2008? Nadie lo sabe, pero no me sorprendería.
The rest of this piece considers the issues facing AI/ML, with the goal of showing why I see it as a bubble-inflator and eventual bubble-popper. El resto de este artículo considera los problemas que enfrenta la AI/ML, con el objetivo de mostrar por qué la veo como un inflador de burbujas y eventual reventador de burbujas.
First, a disclosure: I speak as an educated amateur. I’ve never gone much below the surface of the technology, never constructed a model or built model-processing software, or looked closely at the math. But I think the discussion below still works. Primero, una declaración: Hablo como un amateur educado. Nunca he profundizado mucho en la tecnología, nunca he construido un modelo o software de procesamiento de modelos, o mirado de cerca las matemáticas. Pero creo que la discusión a continuación aún funciona.
What’s good about AI/ML · Spoiler: I’m not the kind of burn-it-with-fire skeptic that I became around anything blockchain-flavored. It is clear that generative models manage to embed significant parts of the structure of language, of code, of pictures, of many things where that has previously not been the case. The understanding is sufficient to reliably accomplish the objective: Produce plausible output. Lo bueno de la AI/ML · Spoiler: No soy el tipo de escéptico que llegué a ser con cualquier cosa con sabor a blockchain. Está claro que los modelos generativos logran incrustar partes significativas de la estructura del lenguaje, del código, de las imágenes, de muchas cosas donde previamente no había sido el caso. La comprensión es suficiente para lograr de manera confiable el objetivo: Producir resultados plausibles.
I’ve read enough Chomsky to believe that facility with language is a defining characteristic of intelligence. More than that, a necessary but not sufficient ingredient. I dunno if anyone will build an AGI in my lifetime, but I am confident that the task would remain beyond reach without the functions offered by today’s generative models. He leído lo suficiente de Chomsky como para creer que la facilidad con el lenguaje es una característica definitoria de la inteligencia. Más que eso, un ingrediente necesario pero no suficiente. No sé si alguien construirá una AGI en mi vida, pero estoy seguro de que la tarea seguiría estando fuera de alcance sin las funciones ofrecidas por los modelos generativos actuales.
Furthermore, I’m super impressed by something nobody else seems to talk about: Prompt parsing. Obviously, prompts are processed into a representation that reliably sends the model-traversal logic down substantially the right paths. The LLMbots of this world may regularly be crazy and/or just wrong, but they do consistently if not correctly address the substance of the prompt. There is seriously good natural-language engineering going on here that AI’s critics aren’t paying enough attention to. Además, estoy muy impresionado por algo de lo que nadie más parece hablar: el análisis de las indicaciones. Obviamente, las indicaciones se procesan en una representación que envía de manera confiable la lógica de recorrido del modelo por caminos sustancialmente correctos. Los LLMbots de este mundo pueden ser regularmente locos y/o simplemente incorrectos, pero abordan consistentemente, si no correctamente, el contenido de la indicación. Aquí hay una ingeniería de lenguaje natural seriamente buena a la que los críticos de la IA no están prestando suficiente atención.
So I have no patience with those who scoff at today’s technology, accusing it being a glorified Markov chain. Like the song says: Something’s happening here! (What it is ain’t exactly clear.) Así que no tengo paciencia con aquellos que se burlan de la tecnología actual, acusándola de ser una cadena de Markov glorificada. Como dice la canción: ¡Algo está sucediendo aquí! (Lo que es, no está del todo claro.)
It helps that in the late teens I saw neural-net pattern-matching at work on real-world problems from close up and developed serious respect for what that technology can do; An example is EC2’s Predictive Auto Scaling (and gosh, it looks like the competition has it too). Ayuda que a finales de la década vi cómo el emparejamiento de patrones de redes neuronales funcionaba en problemas del mundo real desde cerca y desarrollé un serio respeto por lo que esa tecnología puede hacer; Un ejemplo es el Escalamiento Automático Predictivo de EC2 (y vaya, parece que la competencia también lo tiene).
And recently, Adobe Lightroom has shipped a pretty awesome “Select Sky” feature. It makes my M2 MacBook Pro think hard for a second or two, but I rarely see it miss even an isolated scrap of sky off in the corner of the frame. It allows me, in a picture like this, to make the sky’s brightness echo the water’s. Y recientemente, Adobe Lightroom ha lanzado una función bastante impresionante de “Seleccionar Cielo”. Hace que mi MacBook Pro M2 piense intensamente durante uno o dos segundos, pero rara vez veo que se pierda siquiera un trozo aislado de cielo en la esquina del encuadre. Me permite, en una imagen como esta, hacer que el brillo del cielo haga eco al del agua.
And of course I’ve heard about success stories in radiology and other disciplines. Y por supuesto, he escuchado sobre historias de éxito en radiología y otras disciplinas.
Thus, please don’t call me an “AI skeptic” or some such. There is a there there. Por lo tanto, por favor no me llames un “escéptico de la IA” o algo así. Hay algo ahí.
But… · Given that, why do I still think that the flood of money being thrown at this tech is dumb, and that most of it will be lost? Partly just because of that flood. When financial decision makers throw loads of money at things they don’t understand, lots of it is always lost. Pero... · Dado eso, ¿por qué sigo pensando que la avalancha de dinero que se está invirtiendo en esta tecnología es tonta y que la mayor parte se perderá? En parte solo por esa avalancha. Cuando los tomadores de decisiones financieras invierten grandes sumas de dinero en cosas que no entienden, se pierde siempre mucha de ella.
In the Venture-Capital business, that’s an understood part of the business cycle; they’re looking to balance that out with a small number of 100x startup wins. But when big old insurance companies and airlines and so on are piling in and releasing effusive statements about building the company around some new tech voodoo, the outcome, in my experience, is very rarely good. En el negocio de Capital de Riesgo, eso es una parte entendida del ciclo de negocios; están buscando equilibrarlo con un pequeño número de éxitos de startups de 100 veces. Pero cuando las grandes compañías de seguros y aerolíneas y demás se suman y emiten declaraciones efusivas sobre construir la empresa en torno a alguna nueva tecnología vudú, el resultado, en mi experiencia, rara vez es bueno.
But let’s be specific. Pero seamos específicos.
Meaning · As I said above, I think the human mind has a large and important language-processing system. But that’s not all. It’s also a (slow, poorly-understood) computer, with access to a medium-large database of facts and recollections, an ultra-slow numeric processor, and facilities for estimation, prediction, speculation, and invention. Let’s group all this stuff together and call it “meaning”. Significado · Como dije antes, creo que la mente humana tiene un sistema de procesamiento de lenguaje grande e importante. Pero eso no es todo. También es un (lento, mal entendido) ordenador, con acceso a una base de datos de hechos y recuerdos de tamaño medio, un procesador numérico ultra lento y facilidades para estimación, predicción, especulación e invención. Agrupemos todo esto y llamémoslo “significado”.
Have a look at Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data by Emily Bender and Alexander Koller (2020). I don’t agree with all of it, and it addresses an earlier generation of generative models, but it’s very thought-provoking. It postulates the “Octopus Test”, a good variation on the bad old Chinese-Room analogy. It talks usefully about how human language acquisition works. A couple of quotes: “It is instructive to look at the past to appreciate this question. Computational linguistics has gone through many fashion cycles over the course of its history” and “In this paper, we have argued that in contrast to some current hype, meaning cannot be learned from form alone.” Echa un vistazo a Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data de Emily Bender y Alexander Koller (2020). No estoy de acuerdo con todo, y se refiere a una generación anterior de modelos generativos, pero es muy provocador. Postula la “Prueba del Pulpo”, una buena variación de la antigua analogía de la Habitación China. Habla de manera útil sobre cómo funciona la adquisición del lenguaje humano. Un par de citas: “Es instructivo mirar al pasado para apreciar esta pregunta. La lingüística computacional ha pasado por muchos ciclos de moda a lo largo de su historia” y “En este artículo, hemos argumentado que, en contraste con cierta exageración actual, el significado no puede ser aprendido solo a partir de la forma.”
I’m not saying these problems can’t be solved. Software systems can be equipped with databases of facts, and who knows, perhaps some day estimation, prediction, speculation, and invention. But it’s not going to be easy. No estoy diciendo que estos problemas no puedan resolverse. Los sistemas de software pueden estar equipados con bases de datos de hechos, y quién sabe, tal vez algún día estimación, predicción, especulación e invención. Pero no va a ser fácil.
Difficulty · I think there’s a useful analogy between the stories AI and of self-driving cars. As I write this, Apple has apparently decided that generative AI is easier than shipping an autonomous car. I’m particularly sensitive to this analogy because back around 2010, as the first self-driving prototypes were coming into view, I predicted, loudly and in public, that this technology was about to become ubiquitous and turn the economy inside out. Ouch. Dificultad · Creo que hay una útil analogía entre las historias de la IA y de los coches autónomos. Mientras escribo esto, parece que Apple ha decidido que la IA generativa es más fácil que lanzar un coche autónomo. Soy particularmente sensible a esta analogía porque alrededor de 2010, cuando los primeros prototipos de coches autónomos estaban apareciendo, predije, en voz alta y en público, que esta tecnología estaba a punto de volverse ubicua y cambiar la economía de arriba abajo. ¡Ay!
There’s a pattern: The technologies that really do change the world tend to have strings of successes, producing obvious benefits even in their earliest forms, to the extent that geeks load them in the back doors of organizations just to get shit done. As they say, “The CIO is the last to know.” Hay un patrón: Las tecnologías que realmente cambian el mundo tienden a tener una serie de éxitos, produciendo beneficios obvios incluso en sus formas más tempranas, hasta el punto de que los geeks las cargan por las puertas traseras de las organizaciones solo para hacer el trabajo. Como dicen, “El CIO es el último en enterarse.”
Contrast cryptocurrencies and blockchains, which limped along from year to year, always promising a brilliant future, never doing anything useful. As to the usefulness of self-driving technology, I still think it’s gonna get there, but it’s surrounded by a cloud of litigation. Contrasta con las criptomonedas y las cadenas de bloques, que cojeaban de un año a otro, siempre prometiendo un futuro brillante, sin hacer nunca nada útil. En cuanto a la utilidad de la tecnología de coches autónomos, sigo pensando que llegará, pero está rodeada de un mar de litigios.
Anyhow, anybody who thinks that it’ll be easy to teach “meaning” (as I described it above) to today’s generative AI is a fool, and you shouldn’t give them your money. En fin, cualquiera que piense que será fácil enseñar “significado” (como lo describí anteriormente) a la IA generativa de hoy es un tonto, y no deberías darles tu dinero.
Money and carbon · Another big problem we’re not talking about enough is the cost of generative AI. Nature offers Generative AI’s environmental costs are soaring — and mostly secret. In a Mastodon thread, @[email protected] says We need to talk about data centres, and includes a few hard and sobering numbers. Dinero y carbono · Otro gran problema del que no estamos hablando lo suficiente es el costo de la IA generativa. La naturaleza ofrece Los costos ambientales de la IA generativa están aumentando, y en su mayoría son secretos. En un hilo de Mastodon, @[email protected] dice Necesitamos hablar sobre los centros de datos, e incluye algunos números duros y desalentadores.
Short form: This shit is expensive, in dollars and in carbon load. Nvidia pulled in $60.9 billion in 2023, up 126% from the previous year, and is heading for a $100B/year run rate, while reporting a 75% margin. Resumiendo: Esto es costoso, en dólares y en carga de carbono. Nvidia obtuvo $60.9 mil millones en 2023, un aumento del 126% respecto al año anterior, y se dirige hacia una tasa anual de $100 mil millones, mientras informa de un margen del 75%.
Another thing these articles don’t mention is that building, deploying, and running generative-AI systems requires significant effort from a small group of people who now apparently constitute the world’s highest-paid cadre of engineers. And good luck trying to hire one if you’re a mainstream company where IT is a cost center. Otra cosa que estos artículos no mencionan es que construir, implementar y ejecutar sistemas de IA generativa requiere un esfuerzo significativo de un pequeño grupo de personas que aparentemente constituyen el grupo de ingenieros mejor pagado del mundo. Y buena suerte tratando de contratar a uno si eres una empresa convencional donde TI es un centro de costos.
All this means that for the technology to succeed, it not only has to do something useful, but people and businesses will have to be ready to pay a significantly high price for that something. Todo esto significa que para que la tecnología tenga éxito, no solo tiene que hacer algo útil, sino que las personas y las empresas tendrán que estar dispuestas a pagar un precio significativamente alto por ese algo.
I’m not saying that there’s nothing that qualifies, but I am betting that it’s not in ad-supported territory. No estoy diciendo que no haya nada que califique, pero apuesto a que no está en el territorio respaldado por anuncios.
Also, it’s going to have to deal with pushback from unreasonable climate-change resisters like, for example, me. Además, tendrá que lidiar con la resistencia irracional al cambio climático, como por ejemplo, la mía.
Anyhow… · I kind of flipped out, and was motivated to finish this blog piece, when I saw this: “UK government wants to use AI to cut civil service jobs: Yes, you read that right.” The idea — to have citizen input processed and responded to by an LLM — is hideously toxic and broken; and usefully reveals the kind of thinking that makes morally crippled leaders all across our system love this technology. En fin... Me alteré un poco y me motivé a terminar esta entrada de blog cuando vi esto: "El gobierno del Reino Unido quiere usar inteligencia artificial para recortar puestos de trabajo en la administración pública: Sí, leíste bien." La idea de que la opinión de los ciudadanos sea procesada y respondida por una IA es terriblemente tóxica y defectuosa; y revela útilmente el tipo de pensamiento que hace que líderes moralmente discapacitados en todo nuestro sistema amen esta tecnología.
The road ahead looks bumpy from where I sit. And when the business community wakes up and realizes that replacing people with shitty technology doesn’t show up as a positive on the financials after you factor in the consequences of customer rage, that’s when the hot air gushes out of the bubble. El camino por delante parece lleno de baches desde donde estoy. Y cuando la comunidad empresarial se dé cuenta de que reemplazar personas con tecnología mediocre no se refleja positivamente en los estados financieros una vez que se consideran las consecuencias de la ira de los clientes, ahí es cuando el aire caliente sale de la burbuja.
It might not take big chunks of InvestorWorld with it. But I’m betting it does. Puede que no arrastre grandes porciones del Mundo de los Inversionistas con ella. Pero apuesto a que sí lo hace.