Microsoft is van plan om delen van Copilot lokaal op de pc te laten draaien. Dat zeggen topmensen van Intel. Het probleem is echter dat veel hardware niet voldoende rekenkracht heeft om dit mogelijk te maken.
Veel van het rekenwerk voor Copilot gebeurt nu in de cloud. Als dat deels lokaal gedaan kan worden, scheelt dat in latency en levert Copilot betere prestaties en privacyvoordelen, omdat data niet meer naar de cloud verstuurd hoeft te worden. Dat zijn dan ook precies de plannen van Microsoft, tekent Tom’s Hardware aan de hand van verklaringen van Intel-topmensen op. Zij vertelden daarover tijdens de AI Summit van het bedrijf in Taipei.
Hardware vormt echter nog een belangrijke beperking. De bedoeling is dat er voldoende rekenkracht is om delen van Copilot lokaal te draaien, zonder dat gebruikers dit door hebben. Apparaten mogen dus niet trager worden en de batterij mag niet sneller leeglopen. Zeker dat laatste kan voorkomen worden door een neural processing unit, of npu, in te zetten in plaats van een gpu, zeggen de topmensen van Intel. Microsoft zou daar zelfs op staan.
TrendForce meldde in januari al dat zogenoemde AI-pc’s met Copilot-integratie npu’s moeten krijgen die 40 tera operations per second, ofwel tops, kunnen halen. De topmensen van Intel hebben dat nu bevestigd, maar dergelijke npu’s zijn er niet veel. Intel geeft aan dat hun eigen Core Ultra-chips nu 10 tot 15 tops bieden en AMD biedt npu’s aan met maximaal 16 tops. De enige processor die veel gebruikt wordt om Windows te draaien die aan de vereisten voldoet, is de Qualcomm Snapdragon X Elite met 45 tops. De volgende generatie van Core Ultra-chips van Intel moeten volgens het bedrijf ook aan de eisen voldoen.