Xet : notre backend de stockage

Les dépôts sur le Hugging Face Hub diffèrent de ceux des plateformes de développement logiciel. Ils contiennent des fichiers qui sont :

• Large - les fichiers de modèle ou de jeu de données sont de l'ordre du Go et au-delà. Nous disposons de quelques fichiers à l'échelle du To !
• Binaire - non au format lisible par l'homme par défaut (par exemple, Safetensors ou Parquet)

Bien que le Hub s’appuie sur un contrôle de version moderne avec le support de Git, ces différences rendent les dépôts Model et Dataset très différents de ceux qui ne contiennent que du code source.

Stocker ces fichiers directement dans un dépôt Git pur est peu pratique. Non seulement les systèmes de stockage typiques derrière les dépôts Git ne sont pas adaptés à ce type de fichiers, mais lors du clonage d'un dépôt, Git récupère l'historique complet, y compris toutes les révisions des fichiers. Cela peut être prohibitif pour des binaires massifs, vous obligeant à télécharger des gigaoctets de données historiques dont vous n'aurez peut-être jamais besoin.

En revanche, sur le Hub, ces fichiers volumineux sont suivis à l’aide de « fichiers pointeurs » et identifiés par un fichier .gitattributes (les deux sont détaillés plus bas), qui restent dans le dépôt Git tandis que les données réelles sont stockées dans un stockage distant (comme Amazon S3). De ce fait, le dépôt reste de petite taille et les flux de travail Git habituels demeurent efficaces.

Historiquement, les dépôts du Hub s’appuyaient sur Git LFS pour ce mécanisme. Bien que Git LFS reste pris en charge (voir Compatibilité ascendante et héritage), le Hub a adopté Xet, un système de stockage moderne et sur mesure conçu spécifiquement pour le développement en IA/ML. Il permet une déduplication au niveau des blocs, des téléversements plus petits et des téléchargements plus rapides que Git LFS.

Protocole Xet Open Source

Si vous souhaitez comprendre le protocole Xet sous-jacent ou développer une nouvelle bibliothèque client pour accéder au stockage Xet, consultez la spécification du protocole Xet.

Sur ces pages, vous apprendrez à utiliser Xet Storage.

Sommaire

• Historique et présentation de Xet
• Utilisation du stockage Xet
• Sécurité
• Télémétrie
• Compatibilité ascendante et héritage
• Déduplication

Update on GitHub