# Compartilhar um conjunto de dados no Hub O [Hub](https://huggingface.co/datasets) abriga uma extensa coleção de datasets de pesquisa populares e curados pela comunidade. Incentivamos você a compartilhar seu dataset no Hub para ajudar a fazer crescer a comunidade de ML e acelerar o progresso para todos. Todas as contribuições são bem-vindas; adicionar um dataset é apenas um arrastar e soltar! Comece [criando uma conta no Hugging Face Hub](https://huggingface.co/join), caso ainda não tenha uma. ## Upload com a interface do Hub A interface baseada na web do Hub permite que usuários sem qualquer experiência em desenvolvimento façam o upload de um conjunto de dados. ### Criar um repositório Um repositório hospeda todos os arquivos do seu dataset, incluindo o histórico de revisões, o que torna possível armazenar mais de uma versão do dataset. 1. Clique no seu perfil e selecione **New Dataset** para criar um novo repositório de dataset. 2. Escolha um nome para o seu conjunto de dados e defina se ele será público ou privado. Um conjunto de dados público é visível para qualquer pessoa, enquanto um conjunto de dados privado pode ser visualizado apenas por você ou pelos membros da sua organização. ### Enviar conjunto de dados 1. Depois de criar um repositório, navegue até a aba **Arquivos e versões** para adicionar um arquivo. Selecione **Adicionar arquivo** para enviar os arquivos do seu conjunto de dados. Suportamos muitas extensões de dados de texto, áudio e imagem, como `.csv`, `.mp3` e `.jpg`, entre muitas outras. Para extensões de dados de texto como `.csv`, `.json`, `.jsonl` e `.txt`, recomendamos comprimi-los antes de enviá-los ao Hub (para a extensão de arquivo `.zip` ou `.gz`, por exemplo). As extensões de arquivos de texto não são rastreadas pelo Git LFS por padrão e, se tiverem mais de 10MB, não serão commitadas nem enviadas. Consulte o arquivo `.gitattributes` no seu repositório para obter a lista completa de extensões de arquivos rastreadas. Para este tutorial, você pode usar os seguintes arquivos de exemplo `.csv`, pois são pequenos: train.csv, test.csv. 2. Arraste e solte os arquivos do seu conjunto de dados e adicione uma breve mensagem de commit descritiva. 3. Após enviar os arquivos do seu conjunto de dados, eles são armazenados no repositório do seu conjunto de dados. ### Criar um cartão de Dataset Adicionar um card de dataset é extremamente valioso para ajudar os usuários a encontrar seu dataset e entender como usá-lo de forma responsável. 1. Clique em **Create Dataset Card** para criar um cartão de Dataset. Este botão cria um arquivo `README.md` no seu repositório. 2. No topo, você verá a **Metadata UI** com vários campos para seleção, como licença, idioma e categorias de tarefa. Essas são as tags mais importantes para ajudar os usuários a descobrirem seu dataset no Hub. Quando você seleciona uma opção de cada campo, elas são adicionadas automaticamente ao topo do cartão do dataset. Você também pode consultar as [especificações do Dataset Card](https://github.com/huggingface/hub-docs/blob/main/datasetcard.md?plain=1), que possuem um conjunto completo (mas não obrigatório) de opções de tags, como `annotations_creators`, para ajudá-lo a escolher as tags apropriadas. 3. Clique no link **Import dataset card template** no topo do editor para criar automaticamente um modelo de cartão de dataset. Preencher o modelo é uma ótima maneira de apresentar seu dataset à comunidade e ajudar os usuários a entenderem como usá-lo. Para um exemplo detalhado de como um bom cartão de Dataset deve ser, confira o [CNN DailyMail Dataset card](https://huggingface.co/datasets/cnn_dailymail). ### Carregar o conjunto de dados Quando seu conjunto de dados é armazenado no Hub, qualquer pessoa pode carregá-lo com a função [load_dataset()](/docs/datasets/v5.2.0/pt/package_reference/loading_methods#datasets.load_dataset): ```py >>> from datasets import load_dataset >>> dataset = load_dataset("stevhliu/demo") ``` ## Upload com Python Usuários que preferem enviar um dataset programaticamente podem usar a biblioteca [huggingface_hub](https://huggingface.co/docs/huggingface_hub/index). Essa biblioteca permite que os usuários interajam com o Hub a partir do Python. 1. Comece instalando a biblioteca: ```bash pip install huggingface_hub ``` 2. Para fazer o upload de um conjunto de dados no Hub em Python, você precisa fazer login na sua conta do Hugging Face: ```bash hf auth login ``` 3. Use a função [`push_to_hub()`](https://huggingface.co/docs/datasets/main/en/package_reference/main_classes#datasets.DatasetDict.push_to_hub) para ajudá-lo a adicionar, commitar e enviar um arquivo para o seu repositório: ```py >>> from datasets import load_dataset >>> dataset = load_dataset("stevhliu/demo") # dataset = dataset.map(...) # do all your processing here >>> dataset.push_to_hub("stevhliu/processed_demo") ``` Para definir seu conjunto de dados como privado, defina o parâmetro `private` como `True`. Este parâmetro funcionará apenas se você estiver criando um repositório pela primeira vez. ```py >>> dataset.push_to_hub("stevhliu/private_processed_demo", private=True) ``` Para adicionar uma nova configuração (ou subconjunto) a um conjunto de dados ou adicionar uma nova divisão (treino/validação/teste), consulte a documentação de [Dataset.push_to_hub()](/docs/datasets/v5.2.0/pt/package_reference/main_classes#datasets.Dataset.push_to_hub). ### Privacidade Um conjunto de dados privado é acessível apenas por você. Da mesma forma, se você compartilhar um conjunto de dados dentro da sua organização, os membros da organização também poderão acessar o conjunto de dados. Carregue um conjunto de dados privado fornecendo seu token de autenticação ao parâmetro `token`: ```py >>> from datasets import load_dataset # Load a private individual dataset >>> dataset = load_dataset("stevhliu/demo", token=True) # Load a private organization dataset >>> dataset = load_dataset("organization/dataset_name", token=True) ``` ## O que vem a seguir? Parabéns, você concluiu os tutoriais! 🥳 A partir daqui, você pode seguir para: - Saiba mais sobre como usar outras funções do 🤗 Datasets para [processar seu dataset](process). - [Transmita grandes conjuntos de dados](stream) sem baixá-los localmente. - [Defina as divisões e configurações do seu conjunto de dados](repository_structure) e compartilhe seu conjunto de dados com a comunidade. Se você tiver alguma dúvida sobre 🤗 Datasets, sinta-se à vontade para participar e perguntar à comunidade no nosso [fórum](/static-proxy?url=https%3A%2F%2Fdiscuss.huggingface.co%2Fc%2Fdatasets%2F10).