Meta laat Muse Glimmer met 30 miljard parameters op één gpu draaien

In dit artikel:

Meta heeft Muse Glimmer uitgebracht, een open-weight AI-model met 30 miljard parameters dat lokaal op een Mac of pc met één gpu kan draaien. Het model werkt ook zonder internet en valt onder de Apache 2.0-licentie, waardoor gebruikers het kunnen downloaden, aanpassen en zelf uitvoeren in plaats van het via de cloud te gebruiken.

Muse Glimmer is met distillation ontwikkeld: het kleinere model leerde van Meta’s grotere model Muse Spark, dat in april werd uitgebracht. Volgens Meta kan Glimmer programmeren en code debuggen, tools gebruiken, complexe problemen oplossen en tekst en beelden verwerken. Het model is getraind op data in meer dan honderd talen.

Om lokale werking mogelijk te maken, comprimeerde Meta de modelgewichten. Daardoor daalt het benodigde geheugen van ruim 55 GB naar minder dan 20 GB, zodat het model inclusief beeldverwerking en inferentie op systemen met 24 of 32 GB geheugen moet passen. Muse Glimmer is beschikbaar via Hugging Face; partners als Ollama, LM Studio en Unsloth volgen binnenkort. Meta werkt daarnaast met AMD, Arm, Dell, Intel en Nvidia aan betere prestaties en heeft ontwikkelaarsdocumentatie gepubliceerd.