Hugging Face, one of the biggest names in machine learning, is committing $10 million in free shared GPUs to help developers create new AI technologies. The goal is to help small developers, academics, and startups counter the centralization of AI advancements. Hugging Face, uno de los nombres más importantes en aprendizaje automático, está comprometiendo $10 millones en GPUs compartidas gratuitas para ayudar a los desarrolladores a crear nuevas tecnologías de inteligencia artificial. El objetivo es ayudar a pequeños desarrolladores, académicos y startups a contrarrestar la centralización de los avances en IA.
“We are lucky to be in a position where we can invest in the community,” Hugging Face CEO Clem Delangue told The Verge. Delangue said the investment is possible because Hugging Face is “profitable, or close to profitable” and recently raised $235 million in funding, valuing the company at $4.5 billion. “Tenemos la suerte de estar en una posición en la que podemos invertir en la comunidad”, dijo Clem Delangue, CEO de Hugging Face, a The Verge. Delangue dijo que la inversión es posible porque Hugging Face es “rentable, o cerca de ser rentable” y recientemente recaudó $235 millones en financiamiento, valorando la empresa en $4.5 mil millones.
Delangue is concerned about AI startups’ ability to compete with the tech giants. Most significant advancements in artificial intelligence — like GPT-4, the algorithms behind Google Search, and Tesla’s Full Self-Driving system — remain hidden within the confines of major tech companies. Not only are these corporations financially incentivized to keep their models proprietary, but with billions of dollars at their disposal for computational resources, they can compound those gains and race ahead of competitors, making it impossible for startups to keep up. Delangue está preocupado por la capacidad de las startups de IA para competir con los gigantes tecnológicos. La mayoría de los avances significativos en inteligencia artificial —como GPT-4, los algoritmos detrás de la Búsqueda de Google y el sistema de conducción autónoma completa de Tesla— permanecen ocultos dentro de las fronteras de las principales empresas tecnológicas. No solo estas corporaciones tienen incentivos financieros para mantener sus modelos de forma privada, sino que con miles de millones de dólares a su disposición para recursos computacionales, pueden aumentar esas ganancias y adelantarse a los competidores, haciendo imposible que las startups sigan el ritmo.
“If you end up with a few organizations who are dominating too much, then it’s going to be harder to fight it later on.” “Si terminas con unas pocas organizaciones que dominan demasiado, entonces será más difícil luchar contra ello más adelante”.
Hugging Face aims to make state-of-the-art AI technologies accessible to everyone, not just the tech giants. I spoke with Delangue during Google I/O, the tech giant’s flagship conference, where Google executives unveiled numerous AI features for their proprietary products and even a family of open-source models called Gemma. For Delangue, the proprietary approach is not the future he envisions. Hugging Face tiene como objetivo hacer que las tecnologías de IA de última generación sean accesibles para todos, no solo para los gigantes tecnológicos. Hablé con Delangue durante el Google I/O, la conferencia insignia del gigante tecnológico, donde los ejecutivos de Google presentaron numerosas características de IA para sus productos propietarios e incluso una familia de modelos de código abierto llamada Gemma. Para Delangue, el enfoque propietario no es el futuro que él imagina.
“If you go the open source route, you go towards a world where most companies, most organizations, most nonprofits, policymakers, regulators, can actually do AI too. So, a much more decentralized way without too much concentration of power which, in my opinion, is a better world,” Delangue said. “Si optas por la ruta de código abierto, te diriges hacia un mundo donde la mayoría de las empresas, organizaciones, organizaciones sin fines de lucro, responsables políticos, reguladores, pueden hacer IA también. Por lo tanto, una forma mucho más descentralizada sin demasiada concentración de poder, lo cual, en mi opinión, es un mundo mejor”, dijo Delangue.
How it works
Access to compute poses a significant challenge in constructing large language models, often favoring companies like OpenAI and Anthropic, which secure deals with cloud providers for substantial computing resources. Hugging Face aims to level the playing field by donating these shared GPUs to the community through a new program called ZeroGPU. El acceso a la computación plantea un desafío significativo en la construcción de grandes modelos de lenguaje, favoreciendo a menudo a empresas como OpenAI y Anthropic, que aseguran acuerdos con proveedores de servicios en la nube para obtener recursos informáticos sustanciales. Hugging Face tiene como objetivo nivelar el campo de juego al donar estas GPUs compartidas a la comunidad a través de un nuevo programa llamado ZeroGPU.
The shared GPUs are accessible to multiple users or applications concurrently, eliminating the need for each user or application to have a dedicated GPU. ZeroGPU will be available via Hugging Face’s Spaces, a hosting platform for publishing apps, which has over 300,000 AI demos created so far on CPU or paid GPU, according to the company. Las GPUs compartidas son accesibles para múltiples usuarios o aplicaciones simultáneamente, eliminando la necesidad de que cada usuario o aplicación tenga una GPU dedicada. ZeroGPU estará disponible a través de Spaces de Hugging Face, una plataforma de alojamiento para publicar aplicaciones, que hasta ahora ha creado más de 300,000 demos de IA en CPU o GPU de pago, según la empresa.
“It’s very difficult to get enough GPUs from the main cloud providers” “Es muy difícil obtener suficientes GPUs de los principales proveedores de servicios en la nube”.
Access to the shared GPUs is determined by usage, so if a portion of the GPU capacity is not actively utilized, that capacity becomes available for use by someone else. This makes them cost-effective, energy-efficient, and ideal for community-wide utilization. ZeroGPU uses Nvidia A100 GPU devices to power this operation — which offer about half the computation speed of the popular and more expensive H100s. El acceso a las GPUs compartidas se determina por el uso, por lo que si una parte de la capacidad de la GPU no se utiliza activamente, esa capacidad queda disponible para que la use otra persona. Esto las hace rentables, eficientes en energía e ideales para la utilización a nivel comunitario. ZeroGPU utiliza dispositivos Nvidia A100 GPU para alimentar esta operación —que ofrecen aproximadamente la mitad de la velocidad de cálculo de las populares y más caras H100s.
“It’s very difficult to get enough GPUs from the main cloud providers, and the way to get them—which is creating a high barrier to entry—is to commit on very big numbers for long periods of times,” Delangue said. “Es muy difícil obtener suficientes GPUs de los principales proveedores de servicios en la nube, y la forma de obtenerlas —que es creando una barrera de entrada alta— es comprometerse con números muy grandes durante largos períodos de tiempo”, dijo Delangue.
Typically, a company would commit to a cloud provider like Amazon Web Services for one or more years to secure GPU resources. This arrangement disadvantages small companies, indie developers, and academics who build on a small scale and can’t predict if their projects will gain traction. Regardless of usage, they still have to pay for the GPUs. Normalmente, una empresa se comprometería con un proveedor de servicios en la nube como Amazon Web Services por uno o más años para asegurar recursos de GPU. Esta disposición perjudica a las pequeñas empresas, desarrolladores independientes y académicos que trabajan a pequeña escala y no pueden predecir si sus proyectos tendrán éxito. Independientemente del uso, aún tienen que pagar por las GPUs.
“It’s also a prediction nightmare to know how many GPUs and what kind of budget you need,” Delangue said. “También es una pesadilla de predicción saber cuántas GPUs y qué tipo de presupuesto necesitas,” dijo Delangue.
Open-source AI is catching up
With AI rapidly advancing behind closed doors, the goal of Hugging Face is to allow people to build more AI tech in the open. Con la inteligencia artificial avanzando rápidamente tras puertas cerradas, el objetivo de Hugging Face es permitir a las personas construir más tecnología de IA de manera abierta.
“If you end up with a few organizations who are dominating too much, then it’s going to be harder to fight it later on,” Delangue said. “Si terminas con algunas organizaciones que dominan demasiado, entonces será más difícil luchar contra ello más adelante,” dijo Delangue.
Andrew Reed, a machine learning engineer at Hugging Face, even spun up an app that visualizes the progress of proprietary and open-source LLMs over time as scored by the LMSYS Chatbot Arena, which shows the gap between the two inching closer together. Andrew Reed, un ingeniero de aprendizaje automático en Hugging Face, incluso creó una aplicación que visualiza el progreso de los modelos LLM propietarios y de código abierto a lo largo del tiempo según la puntuación de la LMSYS Chatbot Arena, lo que muestra que la brecha entre los dos se va acercando.
Over 35,000 variations of Meta’s open-source AI model Llama have been shared on Hugging Face since Meta’s first version a year ago, ranging from “quantized and merged models to specialized models in biology and Mandarin,” according to the company. Más de 35,000 variaciones del modelo de IA de código abierto de Meta llamado Llama han sido compartidas en Hugging Face desde la primera versión de Meta hace un año, que van desde “modelos cuantificados y fusionados hasta modelos especializados en biología y mandarín,” según la empresa.
“AI should not be held in the hands of the few. With this commitment to open-source developers, we’re excited to see what everyone will cook up next in the spirit of collaboration and transparency,” Delangue said in a press release. “La IA no debería estar en manos de unos pocos. Con este compromiso con los desarrolladores de código abierto, estamos emocionados de ver qué creará cada persona a continuación en espíritu de colaboración y transparencia,” dijo Delangue en un comunicado de prensa.