Servez des modèles d'IA générative et répondez à tous les prompts de vos utilisateurs européens en toute sécurité.
Qu'est-ce qui accelère l'inférence ? L'optimisation du modèle d'IA utilisé est un leviers. Pour être utilisé rapidement, un modèle doit être optimisé pour les machines (GPU) qui l'exécutent.
Ce n'est pas toujours une mince affaire, et le processus peut prendre beaucoup de temps. C'est pourquoi Scaleway fournit une bibliothèque de modèles évolutifs, avec des LLM optimisés.
Les Instances GPU H100 PCIe excellent pour inférer les modèles les plus exigeants. En s'appuyant sur des formats de données avancés et sur son moteur "transformer Engine" innovant, les Instances GPU H100 PCIe multiplient par 30 la vitesse d'inférence par rapport à leur prédécesseur, le GPU NVIDIA A100.
Bénéficiez d'une sécurité sur mesure pour votre infrastructure : des environnements VPC hautement sécurisés aux configurations accessibles depuis Internet et des tokens IAM.
Contrôle total des données : aucun stockage ni accès d'un tiers à vos données (prompts et réponses), ce qui garantit qu'elles restent exclusivement les vôtres et qu'elles se trouvent en Europe.
Zones disponibles :
Paris:PAR 2Entrainé sur Nabuchodonosor 2023 de Scaleway, Mixtral-8x7B est un modèle de type Sparse Mixture of Experts génératif de pointe. Il a été travaillé pour surpasser les performances du modèle Llama 2 70B dans une cas d'usage.
Le Llama-2-70B de Meta est le summum de la série Llama-2, un concentré d'innovation en matière d'IA avec 70 milliards de paramètres adaptés aux dialogues dynamiques et à la génération de textes créatifs. Conçu avec les dernières technologies en matière d'efficacité et d'évolutivité, il excelle dans les tâches complexes de raisonnement et de codage. Son mécanisme avancé d'attention aux requêtes groupées (grouped-query) garantit des prouesses de traitement, ce qui en fait l'outil ultime pour les applications de chat et plus encore.
Un modèle linguistique de pointe doté de 70 milliards de paramètres, conçu selon l'approche innovante Evol+ pour une qualité de réponse inégalée. Grâce à son entraînement intensif sur un ensemble de données diversifié et à une fenêtre contextuelle de 4k, il est conçu pour exceller dans la compréhension et la génération d'instructions complexes, ce qui le positionne en tant que leader en matière de capacités de traitement du langage naturel.
Vos LLMs sont accessibles via une connexion sécurisée grâce à un réseau privé régional résilient.
Nous rendons les terminaux d'IA générative compatibles avec la gestion des identités et des accès de Scaleway (IAM), afin que vos déploiements soient conformes aux exigences de votre architecture d'entreprise.
Identifiez les goulots d'étranglement dans vos déploiements, visualisez les demandes d'inférence en temps réel et faites même état de votre consommation d'énergie grâce à l'intégration de solution d'observabilité entièrement managée (Cockpit)
