Den generativa AI-revolutionen har mestadels varit fokuserad på att köra stora och komplexa AI-modeller i serverdatacenter. Vissa AI-modeller är dock optimerade nog för att köras på vanliga datorer, och Intel gör vissa framsteg där.
Intel meddelade idag att det nu finns över 500 AI-modeller optimerade för sina nya Intel Core Ultra-processorer, som avslöjades i december och har börjat dyka upp i nya bärbara datorer. Den listan innehåller sannolikt många experimentella och testande modeller som inte tjänar ett praktiskt syfte för de flesta applikationer, men det finns några stora: Phi-2, Meta's Lllama-modell, Mistral, Bert, Whisper och Stable Diffusion 1.5.
Intel sa i ett pressmeddelande, “Modeller utgör ryggraden i AI-förbättrade mjukvarufunktioner som borttagning av objekt, superupplösning för bilder eller textsammanfattning. Det finns en direkt koppling mellan antalet aktiverade/optimerade modeller och bredden av användarinriktade AI-funktioner som kan lanseras på marknaden. Utan en modell kan funktionen inte designas. Utan körtidsoptimering kan funktionen inte nå sin bästa prestanda.”
De flesta (om inte alla) av dessa AI-modeller kan köras på icke-Intel-hårdvara, men att lägga till stöd för de nyare hårdvarufunktionerna som är specifika för Intels senaste chips gör dem mer praktiska för verklig användning. Till exempel sa Intel att OpenVINO AI-modellens optimeringsprocess inkluderade “lastbalansering över alla beräkningsenheter, komprimering av modellerna för att köras effektivt i en AI-dator och optimering av körtiden för att dra fördel av minnesbandbredd och kärnarkitektur inom Intel Core Ultra.”
Maskininlärning och AI-modeller som körs lokalt på datorer är inget nytt, men att köra nyare generativa AI-modeller lokalt på datorer har några intressanta användningsfall. Du kan ha något som ChatGPT och Microsoft Copilot som körs helt på din egen dator, vilket potentiellt eliminerar de integritetsproblem och krav på nätverksanslutning som kommer med att skicka snabbdata till externa servrar. NVIDIAs ChatRTX lokala chatbot är ett steg i den riktningen, men den är fortfarande experimentell och kräver en dator med ett kraftfullt RTX 30- eller 40-seriers grafikkort.
Intel hoppas att programvara som använder dessa optimerade modeller kan få folk att köpa nyare datorer med Core Ultra-processorer. För nu är dock molnbaserade AI-verktyg som ChatGPT och Copilot ingenstans.
Källa: Intel