Advantech annuncia una nuova offerta software: GenAI Studio per l’SDK Edge AI della stessa Advantech risponde alla crescente domanda di soluzioni di modelli linguistici di grandi dimensioni (LLM) on-premises ed economicamente vantaggiose. Questa iniziativa mira a rendere l’adozione di LLM più accessibile per gli sviluppatori e le piccole e medie imprese (PMI) riducendo significativamente la dipendenza dalle GPU, abbassando così i costi e consentendo un utilizzo più ampio delle tecnologie di AI generativa.
Accelerare lo sviluppo dell’AI per affrontare le sfide dell’industria
Come una delle offerte software di Edge AI SDK di Advantech, GenAI Studio affronta le problematiche del settore, come la riduzione dei tempi di attesa degli operatori di fabbrica per ottenere informazioni cruciali e l’alleggerimento del carico di lavoro documentale degli operatori sanitari. La piattaforma no-code ed economica semplifica l’adozione di LLM, consentendo alle aziende di implementare soluzioni di IA in modo rapido ed efficiente, migliorando la produttività e l’efficienza operativa.
Progettato per l’SDK Edge AI di Advantech, GenAI Studio utilizza una piattaforma LLM versatile con eccezionali capacità di integrazione per LLM locali e basati su cloud, tra cui OpenAI, Gemini, Anthropic e Ollama. Introduce inoltre una funzionalità di fine-tuning completa dei parametri, ottimizzata per ambienti con risorse GPU limitate, consentendo una maggiore accessibilità e miglioramenti delle prestazioni.
GenAI Studio offre una suite completa di strumenti per lo sviluppo di LLM:
- Servizi integrati di ottimizzazione e inferenza: GenAI Studio combina le funzionalità di regolazione fine e di inferenza per ottimizzare l’utilizzo dell’hardware, consentendo un’allocazione delle risorse più flessibile ed efficiente.
- Gestione avanzata delle risorse GPU e pianificazione dei compiti: Queste caratteristiche consentono agli utenti di ottimizzare le prestazioni dell’hardware AI, migliorando la convenienza economica delle apparecchiature di alto valore.
La rapida ascesa dell’AI ha evidenziato la necessità di soluzioni LLM accessibili, ma molte aziende sono ostacolate da risorse limitate. L’SDK Edge AI di Advantech affronta questa sfida offrendo un set di strumenti che consente una valutazione, uno sviluppo e una distribuzione efficienti delle applicazioni Edge AI. Ad esempio, la messa a punto di un LLM con 70 miliardi di parametri, che tradizionalmente richiede oltre 30 GPU con 48 GB di memoria ciascuna, può essere ottenuta con solo 4 GPU utilizzando l’SDK Edge AI di Advantech. Ciò rappresenta una riduzione dell’87% dei requisiti di risorse, abbassando drasticamente i costi e rendendo le soluzioni LLM più accessibili.
Potenziamento dell’innovazione AI con GenAI Studio e Edge AI Server di Advantech
Per completare GenAI Studio, il server Edge AI AIR-520 di Advantech fornisce una solida piattaforma hardware dotata di GPU Nvidia RTX e SSD Phison AI. Questa integrazione offre capacità di calcolo affidabili e ad alta efficienza, progettate per soddisfare le esigenze delle applicazioni di intelligenza artificiale in settori come la produzione, la sanità e la vendita al dettaglio.
Advantech Edge AI SDK: Semplificazione dei flussi di lavoro dalla messa a punto del modello alla distribuzione
L’SDK Edge AI di Advantech è una piattaforma completamente integrata, progettata per uno sviluppo di Edge AI senza soluzione di continuità. Grazie all’hardware preconfigurato ed al software ottimizzato, offre un’esperienza plug-and-play che consente una personalizzazione dell’LLM a costi contenuti, una compatibilità perfetta con i toolkit e una gestione semplice delle implementazioni edge su larga scala. Progettato con affidabilità, scalabilità e facilità d’uso in mente, l’SDK Advantech Edge AI semplifica il percorso verso l’innovazione AI.
Ora include tre componenti fondamentali:
- GenAI Studio: Facilita la creazione, la valutazione e l’integrazione economicamente vantaggiose di LLM personalizzati in sede.
- Kit di inferenza: Consente una rapida ottimizzazione e valutazione di runtime di intelligenza artificiale efficienti e compatibili con i sistemi operativi embedded.
- Piattaforma di orchestrazione: Fornisce una gestione efficiente degli aggiornamenti dei modelli e delle applicazioni di intelligenza artificiale in implementazioni edge su larga scala, integrando MLOps per semplificare le operazioni.
Advantech sta migliorando la capacità delle aziende di sviluppare e distribuire soluzioni di AI in modo più efficiente e conveniente attraverso il suo Edge AI SDK e il nuovo modulo software GenAI Studio.