ARM et Alibaba partenaire pour améliorer l'IA multimodale sur les appareils avec Kleidiai

Arm Holdings PLC (NASDAQ: ARM), ci-après dénommé "ARM", a annoncé aujourd'hui une nouvelle collaboration avec le groupe taotien d'Alibaba sur son framework d'apprentissage en profondeur léger, MNN.Grâce à l'intégration de ARM Kleidiai, les deux sociétés ont réussi à permettre des charges de travail multimodales de l'intelligence artificielle multimodale (AI) pour fonctionner sur des appareils mobiles alimentés par le processeur ARM utilisant le modèle d'instruct de QWEN2-VL-2B d'Alibaba.Cette version du modèle multimodal QWEN est spécifiquement conçue pour la compréhension d'images sur les appareils, le raisonnement du texte à l'image et la génération multimodale sur plusieurs langues.Cette collaboration améliore considérablement les performances des charges de travail multimodales d'IA à la pointe, offrant une toute nouvelle expérience utilisateur.

Stefan Rosinger, directeur principal de la gestion des produits chez ARM's Client Business, a déclaré: «Nous sommes au milieu d'une révolution de l'IA, témoin de la montée des modèles d'IA multimodaux qui peuvent traiter et comprendre divers types de données, y compris le texte, les images, l'audio, la vidéo et les données des capteurs.Cependant, le déploiement de ces modèles multimodaux avancés sur les périphériques Edge présente des défis importants en raison de contraintes matérielles telles que la consommation d'énergie et les limitations de la mémoire, ainsi que les complexités de la gestion simultanément des modalités de données. »

ARM Kleidi fournit une solution idéale pour relever ces défis, offrant une optimisation de performance transparente pour les charges de travail d'inférence en IA fonctionnant sur des processeurs ARM.Kleidiai est une collection ouverte légère, haute performance et open source de routines de bras conçues spécifiquement pour l'accélération de l'IA.Il a été intégré dans les dernières versions des principaux cadres d'IA sur les appareils, notamment Executorch, Llama.cpp, Linet (via XNNPACK) et Mediopipe.Cela permet à des millions de développeurs d'atteindre automatiquement les gains de performances d'IA significatifs, sans nécessiter d'efforts supplémentaires.