L'équipe des grands modèles ByteDance Doubao a annoncé aujourd'hui avoir mis au point la nouvelle architecture de modèle clairsemé UltraMem. Cette architecture résout efficacement les problèmes d'accès mémoire coûteux lors de l'inférence des modèles MoE (Mixture of Experts), améliorant la vitesse d'inférence de 2 à 6 fois et réduisant le coût d'inférence jusqu'à 83 %. Cette avancée révolutionnaire ouvre de nouvelles voies pour l'inférence efficace des grands modèles. L'architecture UltraMem résout avec succès les goulots d'étranglement de la mémoire lors de l'inférence de l'architecture MoE, tout en garantissant l'efficacité du modèle. Les résultats expérimentaux montrent que dans des conditions de paramètres et d'activation identiques...

Lors du récent débat sur la technologie de Davos, Yann LeCun, scientifique en chef de l'IA chez Meta, a fait des prédictions enthousiasmantes sur l'évolution de l'intelligence artificielle au cours des cinq prochaines années. Il estime que les systèmes d'IA actuels connaîtront une transformation majeure dans les trois à cinq prochaines années, avec l'émergence d'un « nouveau paradigme d'architecture de l'IA » qui surpassera les capacités des IA génératives et des grands modèles linguistiques (LLM) couramment utilisés aujourd'hui. LeCun souligne que si les LLM actuels affichent de bonnes performances en traitement du langage, ils...

Dans le contexte de la vague mondiale de l'IA générative en 2022, YuanShi Intelligence (RWKV) a finalisé en décembre 2023 un tour d'amorçage de plusieurs dizaines de millions de yuans RMB, mené par Tianji Capital. Suite à ce financement, la valorisation de la société a doublé. Les fonds serviront à étendre l'équipe, à développer de nouvelles architectures et à commercialiser les produits. L'apparition de RWKV représente un défi important pour l'architecture Transformer traditionnelle. Avec le développement des grands modèles linguistiques (LLM), bien que l'échelle des paramètres des modèles augmente constamment, les problèmes d'hallucinations et de précision persistent...

YuanShi Intelligence Co., Ltd. de Shenzhen a annoncé récemment avoir bouclé un tour de table d'amorçage de plusieurs dizaines de millions de yuans le 25 décembre 2024. L'investisseur est Tianji Capital. Ce financement va accélérer le développement de l'écosystème, le renforcement des compétences techniques et le lancement d'applications IA grand public chez YuanShi Intelligence. Fondée en juin 2023, YuanShi Intelligence est une entreprise de haute technologie spécialisée dans l'architecture des grands modèles et le développement d'applications IA. Grâce à ses technologies innovantes et à sa stratégie de développement claire, la société continue de susciter l'intérêt des marchés financiers. Avant ce financement, YuanShi Intelligence avait...

Dans la course au développement des grands modèles de langage (LLM), les entreprises d'intelligence artificielle sont confrontées à des défis croissants, ce qui conduit à explorer des architectures alternatives aux Transformer. Depuis leur introduction en 2017 par des chercheurs de Google, les architectures Transformer sont devenues la pierre angulaire de l'intelligence artificielle générative actuelle. Pour relever ce défi, Liquid AI, une startup issue du MIT, a présenté STAR (Synthesi...

La société Yue Zhi An Mian et le laboratoire MADSys de l'Université Tsinghua ont conjointement publié Mooncake, un projet open-source visant à construire une architecture d'inférence de modèle de grande échelle centrée sur KVCache. En juin 2024, les deux parties avaient déjà publié conjointement la conception du système d'inférence Mooncake pour Kimi, une solution basée sur la séparation PD et une architecture de calcul de stockage qui améliore considérablement le débit d'inférence et a suscité un vif intérêt de l'industrie.

À l'ère du développement rapide de l'intelligence artificielle, le niveau d'intelligence des grands modèles ne cesse de s'améliorer, mais les défis liés à l'efficacité des systèmes d'inférence deviennent de plus en plus importants. Faire face à des charges d'inférence élevées, réduire les coûts d'inférence et raccourcir les temps de réponse sont devenus des problèmes importants auxquels l'industrie est confrontée. Kimi, en collaboration avec le laboratoire MADSys de l'Université Tsinghua, a lancé Mooncake, une solution de conception de système d'inférence basée sur KVCache, officiellement publiée en juin 2024. Le système d'inférence Mooncake permet de...

Récemment, MIPS, basé à San Jose, en Californie, a annoncé le lancement de son nouveau CPU P8700. Ce processeur est basé sur l'architecture de calcul RISC-V et cible principalement les systèmes avancés d'assistance à la conduite (ADAS) et les applications automobiles autonomes. MIPS se concentre sur le développement de propriétés intellectuelles de calcul efficaces et configurables, dont la conception est largement licenciée à d'autres fabricants de puces. Samir Vasudevan, PDG de MIPS, a déclaré dans une interview à VentureBeat que le processeur P8700 est conçu pour...

Dans le contexte de l'évolution rapide de l'intelligence artificielle, un grand modèle linguistique multimodal nommé ORYX est en train de révolutionner notre perception de la capacité de l'IA à comprendre le monde visuel. Développé conjointement par des chercheurs de l'Université Tsinghua, de Tencent et de l'Université technologique de Nanyang, ce système d'IA est considéré comme un véritable "transformateur" dans le domaine du traitement visuel. ORYX, acronyme d'Oryx Multi-Modal Large Language Models, est un modèle d'IA spécialement conçu pour traiter les images, les vidéos et la compréhension spatio-temporelle des scènes 3D.

Récemment, Jensen Huang, PDG de NVIDIA, a révélé lors d'une interview que le nouveau modèle linguistique de grande taille (LLM) o1 d'OpenAI s'appuie sur l'architecture Blackwell de NVIDIA, une architecture qui a permis des améliorations spectaculaires des capacités d'inférence. Alors que le marché se remet de l'engouement pour l'intelligence artificielle générative, le développement de modèles LLM capables de générer des réponses axées sur le raisonnement devient de plus en plus important, une étape essentielle vers la réalisation d'une intelligence artificielle générale. Huang

Lors de la conférence Baidu Cloud Intelligence qui s'est tenue le 25 septembre 2024, Baidu Cloud Intelligent a annoncé une série d'améliorations majeures pour les applications IA d'entreprise, visant à aider les entreprises à utiliser les grands modèles de manière plus efficace et économique. Ces améliorations incluent la plateforme de calcul hétérogène Baidu AI 4.0 et la plateforme de grands modèles Qianfan 3.0, ainsi qu'une mise à jour complète des produits d'applications natives IA tels que l'assistant de code, le service client intelligent et les personnages numériques.

Dans le contexte de l'accélération de la croissance urbaine mondiale, Google démontre une fois de plus sa capacité d'innovation technologique en lançant l'ensemble de données temporelles d'architecture 2.5D ouvert. Cette initiative marque non seulement une avancée majeure dans les technologies cartographiques, mais fournit également un soutien précieux en matière de données pour l'urbanisme et le développement à l'échelle mondiale. L'ONU prévoit que la population urbaine mondiale augmentera d'environ 2,5 milliards d'habitants d'ici 2050, la majeure partie de cette croissance étant concentrée dans les pays du Sud. Face à ce défi de taille, les urbanistes et les décideurs ont un besoin urgent de nouveaux outils pour comprendre et répondre à l'évolution rapide des villes. Les données lancées par Google contribuent à…

AWPortrait-FL est un modèle de génération d'images axé sur la photographie de portrait, entraîné sur FLUX.1-dev. En utilisant un ensemble de données de photos de mode de haute qualité esthétique, il améliore considérablement la composition et les détails des images, notamment la texture et le réalisme de la peau. Sous licence non commerciale, les images générées sont limitées à un usage non commercial. Les points forts du modèle incluent la génération d'images de haute qualité, des détails de peau améliorés, des fonctionnalités d'invite flexibles, l'accélération GPU, une licence d'utilisation non commerciale, plusieurs options de résolution et une excellente composition.

À l'âge d'or des médias numériques, la création de vidéos de haute qualité nécessitait généralement des compétences complexes et un équipement coûteux. Cependant, la nouvelle plateforme Snap Video révolutionne cette tradition en générant des vidéos instantanément à partir d'entrées en langage naturel. S'appuyant sur les avancées des modèles actuels de génération d'images, les chercheurs ont développé Snap Video, un modèle innovant de génération vidéo qui exploite la redondance temporelle et spatiale pour améliorer la qualité et la cohérence des vidéos générées. Snap Video traite simultanément les pixels dans l'espace et le temps, permettant une liberté de visualisation...

TTT : une nouvelle architecture de couches d'apprentissage en temps de test (Test-Time-Training layers) développée conjointement par des chercheurs de Stanford, UCSD, UC Berkeley et Meta, a bouleversé du jour au lendemain la domination des Transformers et de Mamba, révolutionnant les modèles linguistiques. L'architecture TTT innove en compressant le contexte par descente de gradient, remplaçant le mécanisme d'attention traditionnel. Elle permet d'entraîner des modèles linguistiques à grande échelle (dizaines de milliards de jetons), tout en conservant une complexité linéaire stable et...

Dans le monde en constante évolution de l'intelligence artificielle, une société nommée Etched mise tout sur une architecture IA appelée Transformer. La société a récemment annoncé le lancement de Sohu, la première puce ASIC (circuit intégré spécifique à une application) au monde conçue spécifiquement pour les Transformers. Elle affirme que ses performances dépassent de loin celles de tous les GPU actuellement sur le marché et qu'elle révolutionnera le domaine de l'IA.

Publication du rapport technique sur Stable Diffusion 3. SD3 utilise l'architecture de transformateur de diffusion multimodale MMDiT. SD3 introduit une technique de flux repondéré pour améliorer les performances. SD3 effectue des recherches à grande échelle et envisage des améliorations futures des performances. Problèmes et suggestions concernant l'encodeur de texte.

Le modèle aMUSEd de Hugging Face génère des images en quelques secondes, surpassant en vitesse des concurrents comme Stable Diffusion. aMUSEd utilise un modèle texte-image léger basé sur le modèle MUSE de Google. aMUSEd adopte une architecture de modèle d'image masquée (MIM), réduisant les étapes d'inférence, améliorant ainsi la vitesse de génération et l'explicabilité. Le modèle est disponible sur Hugging Face.

Selon des sources de la chaîne d'approvisionnement, Nvidia devrait lancer l'année prochaine la nouvelle architecture de puce IA B100. La B100 devrait utiliser un processus de fabrication 4 nm intégrant 2 GPU et 8 HBM, ce qui augmentera la demande d'emballage CoWoS. Nvidia obtient un soutien en capacité CoWoS de TSMC et d'OSAT en back-end, ce qui favorise la visibilité de la production future. Avec l'augmentation de la capacité CoWoS, les livraisons de puces IA Nvidia augmenteront, stimulant inversement la croissance de la demande de CoWoS. L'analyse estime que la nouvelle architecture d'Nvidia favorisera le développement de ses puces IA et stimulera également le CoWoS et autres emballages.