Apple heeft een eigen taalmodel uitgebracht dat lokaal kan draaien op eigen apparaten. OpenELM is een openbaar model waarmee ontwikkelaars generatieve AI kunnen maken. Het gaat om een klein model, wat nodig is voor lokale werking.
OpenELM, of Open-source Efficient Language Models, is een small language model dat voornamelijk geschikt is voor het genereren van teksten door kunstmatige intelligentie. Apple zegt niet expliciet waar het de tool voor wil gebruiken, maar het is aannemelijk dat het bedrijf AI-applicaties wil laten bouwen die lokaal op iPhones of Macbooks kunnen draaien. Apple heeft eerder gezegd zich ook in de strijd rondom generatieve AI te werpen, maar was daar altijd vaag over.
Het OpenELM-model bestaat uit vier varianten. Die hebben allemaal een andere maat. De groottes van de modellen lopen uiteen van 270 miljoen, 450 miljoen, 1,1 miljard en 3 miljard parameters. Ter vergeljking: het recente large language model dat Meta in WhatsApp wil stoppen krijgt tussen 7 en 400 miljard parameters. Dat is mogelijk als de modellen cloudbased werken, maar voor lokale verwerking zijn kleinere modellen nodig. Steeds meer bedrijven richten zich niet alleen meer op grote modellen, maar ook op kleinere modellen. Microsoft deed dat bijvoorbeeld eerder deze week nog.
Apple heeft een paper geschreven over de werking van het model en het zegt dat het model open source beschikbaar komt. OpenELM is onder andere getraind op de RefinedWeb-dataset en op een deel van RedPajama, een verzameling van grotendeels Engelstalige artikelen, boeken en informatie van platformen als GitHub, Wikipedia en StackExchange. Daarnaast is het model getraind op data van Reddit en het Project Gutenberg.