비공개 및 게이트된 데이터셋 인증

비공개 또는 게이트된 데이터셋에 액세스하려면 DuckDB Secrets Manager에서 Hugging Face Token을 구성해야 합니다.

Hugging Face 설정 - 토큰을 방문하여 액세스 토큰을 가져오세요.

hf datasets sql를 통해 쿼리를 실행하면 로그인된 세션(또는 --token)에서 토큰 시크릿이 자동으로 구성되므로 수동으로 시크릿을 설정할 필요가 없습니다.

DuckDB는 시크릿을 관리하기 위한 두 가지 제공자를 지원합니다:

• CONFIG: CREATE SECRET 문에 모든 구성 정보를 전달하도록 사용자를 요구합니다.
• CREDENTIAL_CHAIN: 자격 증명을 자동으로 가져오도록 시도합니다. Hugging Face 토큰의 경우 ~/.cache/huggingface/token에서 가져오도록 시도합니다.

DuckDB Secrets에 대한 자세한 내용은 Secrets Manager 가이드를 참조하세요.

CONFIG 제공자를 사용하여 시크릿 생성

CONFIG 제공자를 사용하여 시크릿을 생성하려면 다음 명령을 사용하세요:

CREATE SECRET hf_token (TYPE HUGGINGFACE, TOKEN 'your_hf_token');

your_hf_token을 실제 Hugging Face 토큰으로 교체하세요.

CREDENTIAL_CHAIN 제공자를 사용하여 시크릿 생성

CREDENTIAL_CHAIN 제공자를 사용하여 시크릿을 생성하려면 다음 명령을 사용하세요:

CREATE SECRET hf_token (TYPE HUGGINGFACE, PROVIDER credential_chain);

이 명령은 ~/.cache/huggingface/token에 저장된 토큰을 자동으로 가져옵니다.

먼저 Hugging Face 계정으로 로그인해야 합니다. 예를 들어 다음을 사용할 수 있습니다:

hf auth login

또는 Hugging Face 토큰을 환경 변수로 설정할 수 있습니다:

export HF_TOKEN="hf_xxxxxxxxxxxxx"

인증에 대한 자세한 내용은 Hugging Face 인증 문서를 참조하세요.