Il tuo prossimo telefono Android potrebbe avere un chatbot simile a ChatGPT, senza bisogno di cloud

I chipset Qualcomm sono alla base di molti smartphone e tablet Android, nonché di alcuni PC Windows e dispositivi integrati. Oggi l'azienda ha rivelato alcuni progressi che potrebbero significare che il tuo prossimo telefono Android avrà un proprio chatbot locale simile a ChatGPT o un generatore di immagini simile a Stable Diffusion, senza bisogno di server esterni o abbonamenti a pagamento.

Qualcomm ha avuto molti annunci relativi all'intelligenza artificiale oggi, tra cui un “Qualcomm AI Hub” che offre agli sviluppatori di app l'accesso a un modello AI ottimizzato, nonché a nuovi modem con “5G basato sull'intelligenza artificiale”. L'azienda ha anche discusso dell'esecuzione di modelli multimodali di grandi dimensioni (LLM) su un telefono Android con i chip Snapdragon di Qualcomm, consentendo potenzialmente l'esecuzione locale di più attività di intelligenza artificiale su uno smartphone, invece di utilizzare un servizio esterno come ChatGPT, Microsoft Copilot o Galaxy AI. Questo approccio presenta vantaggi in termini di privacy e usabilità: non è necessario un server esterno per elaborare le risposte (che potrebbe costare denaro) e tutti i dati rimangono sul tuo dispositivo.

Qualcomm

In un comunicato stampa, Qualcomm afferma di avere il primo LMM al mondo in esecuzione su uno smartphone Android, ma non ha menzionato l'hardware esatto utilizzato (presumibilmente un telefono con l'ultimo chip Snapdragon 8 Gen 3 di Qualcomm). L'azienda ha descritto la demo come “un LMM con oltre 7 miliardi di parametri in grado di accettare più tipi di input di dati, inclusi testo e immagini, e generare conversazioni a più turni con un assistente AI su un'immagine”. in esecuzione su uno smartphone Android per la prima volta.” È una versione modificata del modello LLaVA.

Qualcomm ha anche mostrato una build modificata di Stable Diffusion, il popolare generatore di immagini AI, in esecuzione su un telefono Android. La diffusione stabile è in esecuzione in modalità “Adattamento di basso rango” mode (LoRA), che riduce la dimensione dei dati di allenamento pur offrendo qualità e prestazioni decenti. Questa configurazione non funzionerà bene come Stable Diffusion su una scheda grafica desktop completa o su un server GPU remoto, ma è comunque impressionante. Qualcomm ha testato un'altra demo di Stable Diffusion su un telefono Android nel 2023, in grado di generare un'immagine 512×512 in meno di 15 secondi.

Qualcomm

Queste demo esistono più come benchmark tecnici per l'hardware di Qualcomm più di ogni altra cosa, e non è chiaro se diventerà un'app raffinata che puoi eseguire su telefoni e tablet Android. È possibile che Qualcomm condivida il suo lavoro sul suo nuovo “AI Hub”, dove altri sviluppatori potrebbero utilizzarlo nelle proprie app per telefoni e tablet. Con un po' più di lavoro, potremmo avere un assistente simile a ChatGPT limitato sui telefoni Android senza requisiti di cloud, qualcosa su cui si dice che Apple stia lavorando per iPhone.

Fonte: Qualcomm