Seconda generazione di modelli aperti di Google a disposizione di sviluppatori e ricercatori, con dimensioni di parametri da 9 miliardi (9B) e 27 miliardi (27B).
Google ha annunciato la disponibilità di Gemma 2, nuova generazione di modelli AI aperti destinati a sviluppatori e ricercatori per la creazione di strumenti di Intelligenza artificiale generativa. Gemma 2 è l'evoluzione potenziata di Gemma, famiglia presentata lo scorso febbraio.
Gemma 2, intelligenza artificiale fuori misura
Disponibile con dimensioni di parametri da 9 miliardi (9B) e 27 miliardi (27B), Gemma 2 offre prestazioni più elevate ed è più efficiente nell'inferenza rispetto alla prima generazione, con significativi progressi in termini di sicurezza integrati. Infatti, con 27B, offre alternative competitive a modelli di dimensioni più che doppie, offrendo il tipo di prestazioni che era possibile solo con i modelli proprietari fino a dicembre. E questo è ora realizzabile su un singolo host TPU o GPU NVIDIA H100 Tensor Core, riducendo significativamente i costi di implementazione. Ecco cosa lo distingue:
- Prestazioni fuori misura: con 27B, Gemma 2 offre le migliori prestazioni per la sua classe di dimensioni e offre anche alternative competitive a modelli di dimensioni più che doppie. Il modello 9B Gemma 2 offre anche prestazioni ai vertici della categoria, superando Llama 3 8B e altri modelli aperti nella sua categoria di dimensioni. Per un'analisi dettagliata delle prestazioni, consulta la relazione tecnica.
- Efficienza e risparmio sui costi senza pari: il modello Gemma 2 da 27B è progettato per eseguire l'inferenza in modo efficiente a piena precisione su un singolo host Google Cloud TPU, GPU NVIDIA A100 80GB Tensor Core o GPU NVIDIA H100 Tensor Core , riducendo significativamente i costi mantenendo elevate prestazioni. Ciò consente distribuzioni AI più accessibili e convenienti.
- Inferenza incredibilmente veloce su tutto l'hardware: Gemma 2 è ottimizzato per funzionare a velocità incredibile su un'ampia gamma di hardware, dai potenti laptop da gioco e desktop di fascia alta, alle configurazioni basate su cloud. Prova Gemma 2 con la massima precisione in Google AI Studio, sblocca le prestazioni locali con la versione quantizzata con Gemma.cpp sulla tua CPU o provalo sul tuo computer di casa con una NVIDIA RTX o GeForce RTX tramite Hugging Face Transformers.
Gemma 2 non è solo più potente, è progettato per integrarsi più facilmente nei tuoi flussi di lavoro:
- Aperto e accessibile: proprio come i modelli Gemma originali, Gemma 2 è disponibile con la nostra licenza Gemma commerciale, che offre a sviluppatori e ricercatori la possibilità di condividere e commercializzare le loro innovazioni.
- Ampia compatibilità con i framework: utilizza facilmente Gemma 2 con i tuoi strumenti e flussi di lavoro preferiti grazie alla sua compatibilità con i principali framework AI come Hugging Face Transformers e JAX, PyTorch e TensorFlow tramite Keras 3.0 nativo, vLLM, Gemma.cpp , Llama.cpp e Ollama. Inoltre, Gemma è ottimizzato con NVIDIA TensorRT-LLM per essere eseguito su un'infrastruttura accelerata da NVIDIA o come microservizio di inferenza NIM NVIDIA. Puoi perfezionare oggi con Keras e Hugging Face. Stiamo lavorando attivamente per abilitare ulteriori opzioni di messa a punto efficienti in termini di parametri.
- Implementazione semplice: a partire dal mese prossimo, i clienti Google Cloud saranno in grado di implementare e gestire facilmente Gemma 2 su Vertex AI.
Gemma 2 è ora disponibile in Google AI Studio, quindi puoi testare tutte le sue capacità prestazionali a 27B senza requisiti hardware. Puoi anche scaricare i pesi dei modelli di Gemma 2 da Kaggle e Hugging Face Models, con Vertex AI Model Garden in arrivo.
Per consentire l'accesso alla ricerca e allo sviluppo, Gemma 2 è disponibile gratuitamente anche tramite Kaggle o tramite un livello gratuito per i notebook Colab. I nuovi clienti Google Cloud potrebbero avere diritto a $ 300 in crediti. I ricercatori accademici possono presentare domanda per il programma di ricerca accademica Gemma 2 per ricevere crediti Google Cloud per accelerare la loro ricerca con Gemma 2. Le candidature sono aperte da ora fino al 9 agosto.
Per ulteriori dettagli e riferimenti, punta qui.
