Meta heeft de derde generatie van zijn Llama-AI-model voorgesteld. De huidige versies hebben 8 miljard en 70 miljard parameters, later zal nog een groter model volgen met 400 miljard parameters. Die is nog met training bezig.
/i/2006646948.png?f=imagemedium)
De dataset voor training van Llama 3 is zeven keer zo groot als bij Llama 2 van vorig jaar, claimt Meta. Er zit vier keer zoveel code in de data. Daarnaast is de tokenizer om taal te coderen veel efficiënter, wat moet leiden tot betere prestaties. Ook gebruikt Meta iets dat ‘grouped query attention’ om de efficiëntie te verbeteren.
Tussen de trainingsdata is 95 procent in het Engels en dat leidt tot verminderde prestaties in de dertig andere talen die Meta AI ondersteunt. Llama 3 komt vanaf nu onder meer in diensten als WhatsApp en Instagram, zo claimt het bedrijf. Dat gebeurt in de vorm van een AI-assistent. Dat gebeurt vooralsnog alleen in het Engels, in de Verenigde Staten, Australië, Canada, Ghana, Jamaica, Malawi, Nieuw-Zeeland, Nigeria, Pakistan, Singapore, Zuid-Afrika, Oeganda, Zambia en Zimbabwe.