Onderzoeker brengt klein Nederlands taalmodel uit gebaseerd op Microsoft Phi

Een Belgische onderzoeker van de KU Leuven heeft Fietje uitgebracht, een Nederlandse variant op Phi 2 van Microsoft. Met 2,8 miljard parameters moet het bruikbaar zijn op weinig krachtige hardware, maar wel even goed zijn als een groter model.

Fietje in actie

Fietje moet innovatie in Nederlandstalige taalmodellen bevorderen en toegang tot Nederlandse taaltechnologie verbeteren, zegt maker Bram Vanroy tegen Tweakers. “De stap om dit soort modellen lokaal op je telefoon te draaien wordt hierdoor kleiner.” Vanroy maakte GEITje Ultra, een Nederlandstalig taalmodel geoptimaliseerd voor gebruik als AI-assistent. GEITje Ultra is zeven miljard parameters en Fietje presteert in benchmarks ongeveer even goed.

Fietje kwam tot stand met data van Wikipedia en CulturaX, zo zegt Vanroy. Daarna volgde instruction tuning en voorkeurstraining. Het kleine model moet een compromis zijn tussen snelheid en kwaliteit, zegt Vanroy. Fietje is te proberen op de HuggingFace-pagina van het project.

Fietje