# 데이터셋 업로드

[Hub](https://huggingface.co/datasets)에는 커뮤니티가 큐레이션한 데이터셋과 연구용 데이터셋이 방대하게 모여 있습니다. ML 커뮤니티의 성장과 모든 사용자의 진전을 가속화하기 위해, 여러분이 데이터셋을 Hub에 공유해 주시기를 권장합니다. 모든 기여를 환영하며, 데이터셋을 추가하는 것은 드래그 앤 드롭만으로 가능합니다!

아직 계정이 없다면 [Hugging Face Hub 계정을 만드는 것](https://huggingface.co/join)부터 시작하세요.

## Hub UI를 사용하여 업로드

Hub의 웹 기반 인터페이스를 사용하면 개발 경험이 없는 사용자도 데이터셋을 업로드할 수 있습니다.

### 리포지토리 생성

레포지토리는 리비전 히스토리를 포함하여 모든 데이터셋 파일을 호스팅하므로, 데이터셋의 여러 버전을 저장할 수 있습니다.

1. 프로필을 클릭하고 **New Dataset**을 선택하여 [새로운 데이터셋 저장소](https://huggingface.co/new-dataset)를 생성합니다.
2. 데이터셋 이름을 지정하고 공개 데이터셋인지 비공개 데이터셋인지 선택합니다. 공개 데이터셋은 누구나 볼 수 있지만, 비공개 데이터셋은 사용자 본인 또는 조직의 구성원만 볼 수 있습니다.

    

### 데이터셋 업로드

1. 리포지토리를 생성한 후, 파일을 추가하려면 **Files and versions** 탭으로 이동하세요. **Add file**를 선택하여 데이터셋 파일을 업로드합니다. `.csv`, `.mp3`, `.jpg`와 같은 텍스트, 오디오, 이미지 및 기타 데이터 확장자를 지원합니다(전체 [File formats](#file-formats) 목록을 참조하세요).

    

2. 데이터셋 파일을 드래그 앤 드롭하세요.

    

3. 데이터셋 파일을 업로드하면 해당 파일은 데이터셋 저장소에 저장됩니다.

    

### Dataset 카드 만들기

Dataset 카드를 추가하는 것은 사용자가 해당 dataset을 쉽게 찾고 책임감 있게 사용할 수 있도록 하는 데 매우 유용합니다.

1. **Dataset Card 만들기**를 클릭하여 [Dataset card](./datasets-cards)를 생성합니다. 이 버튼은 저장소에 `README.md` 파일을 생성합니다.

    

2. 상단에는 **Metadata UI**가 있으며, license, language, task categories 등 여러 필드를 선택할 수 있습니다. 이는 Hub에서 사용자에게 데이터셋을 발견하도록 돕는 가장 중요한 태그입니다(해당하는 경우). 필드에 옵션을 선택하면 데이터셋 카드 상단에 자동으로 추가됩니다.

    허용된 태그의 전체 목록을 포함하여 데이터셋에 유용한 태그를 선택하는 데 도움이 되는 [Dataset Card specifications](https://github.com/huggingface/hub-docs/blob/main/datasetcard.md?plain=1)도 참고할 수 있습니다. 여기에는 `annotations_creators`와 같은 선택 항목도 포함되어 있습니다.

    

3. Dataset Card에 데이터셋 문서를 작성하여 커뮤니티에 데이터셋을 소개하고, 사용자가 데이터셋의 내용을 이해할 수 있도록 돕습니다. 여기에는 사용 사례와 한계, 데이터 출처, 중요한 윤리적 고려 사항, 기타 관련 세부 사항 등이 포함됩니다.

    에디터 상단의 **Import dataset card template** 링크를 클릭하면 데이터셋 카드 템플릿이 자동으로 생성됩니다. 좋은 Dataset card의 예시를 확인하려면 [CNN DailyMail Dataset card](https://huggingface.co/datasets/abisee/cnn_dailymail)를 참고하세요.

## `huggingface_hub` 클라이언트 라이브러리를 사용하여

`huggingface_hub` 라이브러리의 풍부한 기능 집합을 사용하면 저장소를 관리할 수 있으며, 저장소 생성 및 Hub에 데이터셋 업로드가 포함됩니다. 자세한 내용은 [클라이언트 라이브러리 문서](/docs/huggingface_hub/index)를 참조하세요.

## 다른 라이브러리 사용

[🤗 Datasets](/docs/datasets/index), [Pandas](https://pandas.pydata.org/), [Polars](https://pola.rs), [Dask](https://www.dask.org/), [DuckDB](https://duckdb.org/), [Daft](https://daft.ai/)와 같은 일부 라이브러리는 Hub에 파일을 업로드할 수 있습니다. 자세한 내용은 [Datasets Hub에서 지원하는 라이브러리](./datasets-libraries) 목록을 참고하세요.

## Git 사용

데이터셋 저장소는 Git 저장소이므로 Git을 사용하여 데이터 파일을 Hub에 push할 수 있습니다. [저장소 시작하기](repositories-getting-started) 가이드를 참고하여 `git` CLI를 사용해 데이터셋을 commit하고 push하는 방법을 학습하세요.

## 데이터셋 가져오기

데이터베이스, 클라우드 스토리지 또는 API 뒤에 있는 데이터가 있는 경우, 이를 Hugging Face에 가져와서 바로 사용할 수 있는 데이터셋으로 만들 수 있습니다.

[데이터셋 가져오기 문서](./datasets-ingesting)에서 더 많은 정보를 확인하세요.

## 파일 형식

Hub는 여러 파일 형식을 기본적으로 지원합니다:

- Parquet (.parquet)
- CSV (.csv, .tsv)
- JSON Lines, JSON (.jsonl, .json)
- Arrow 스트리밍 및 IPC 형식(.arrow)
- Text (.txt)
- Images (.png, .jpg 등)
- Audio (.wav, .mp3 등)
- Video (.mp4, .mov, .avi 등)
- PDF (.pdf)
- [WebDataset](./datasets-webdataset) (.tar)
- [Lance](./datasets-lance) (.lance)

ZIP(.zip), GZIP(.gz), ZSTD(.zst), BZ2(.bz2), LZ4(.lz4), LZMA(.xz)로 압축된 파일을 지원합니다.

이미지 및 오디오 파일에는 추가 메타데이터 파일이 있을 수도 있습니다. 이미지 및 오디오 데이터셋에 대한 [데이터 파일 구성](./datasets-data-files-configuration#image-audio-and-video-datasets)과 CSV, TSV, 이미지에 대한 [예제 데이터셋](https://huggingface.co/datasets-examples) 모음을 참고하세요.

Hub의 모든 기능을 활용하려면 파일을 이러한 형식으로 변환하는 것이 좋습니다. 다른 형식이나 구조는 Hub에서 인식되지 않을 수 있습니다.

### 어떤 파일 형식을 사용해야 하나요?

대부분의 데이터셋 유형에 대해, 효율적인 압축, 풍부한 타입 정보, 그리고 최적화된 읽기 및 배치 연산을 지원하는 다양한 도구가 이 포맷을 지원하기 때문에 **Parquet**가 권장되는 포맷입니다. 대안으로, 표 형식 데이터에는 CSV 또는 JSON Lines/JSON을 사용할 수 있습니다(중첩 데이터의 경우 JSON Lines를 권장합니다). Parquet에 비해 파싱이 쉽지만, 수 GB를 초과하는 데이터에는 이러한 포맷을 권장하지 않습니다. 이미지 및 오디오 데이터셋의 경우, 개별 파일에 쉽게 접근할 수 있어 대부분의 사용 사례에서 원본 파일을 업로드하는 것이 가장 실용적입니다. 대규모 이미지 및 오디오 데이터셋 스트리밍의 경우, 개별 파일 접근으로 인한 오버헤드를 피하기 위해 원본 이미지 및 오디오 파일보다 [WebDataset](https://github.com/webdataset/webdataset)를 선호해야 합니다. 다만 분석, 데이터 필터링 또는 메타데이터 파싱을 포함하는 보다 일반적인 사용 사례의 경우, 대규모 이미지 및 오디오 데이터셋에 대해 Parquet가 권장되는 옵션입니다.

### Data Studio

[Data Studio](./data-studio)는 데이터를 다운로드하기 전에 실제 데이터의 형태를 파악하는 데 유용합니다. 모든 공개 데이터셋에는 기본적으로 활성화되어 있습니다. [PRO 사용자](https://huggingface.co/pricing) 또는 [Team or Enterprise organization](https://huggingface.co/enterprise)이 소유한 비공개 데이터셋에서도 사용할 수 있습니다.

데이터셋을 업로드한 후, Dataset Viewer가 데이터를 올바르게 표시하는지 확인하거나 [Dataset Viewer를 구성](./datasets-viewer-configure)하세요.

## 대규모 데이터셋

Hugging Face Hub는 대규모 데이터셋을 지원하며, 일반적으로 Parquet(예: [🤗 Datasets](/docs/datasets/main/en/package_reference/main_classes#datasets.Dataset.push_to_hub)를 사용하여 `push_to_hub()`로 업로드) 또는 [WebDataset](https://github.com/webdataset/webdataset) 형식으로 업로드됩니다.

`huggingface_hub` 라이브러리의 `upload_folder()` 또는 `hf upload`를 사용하여 큰 폴더를 업로드하세요. 업로드를 여러 커밋으로 나누고 중단 시 자동으로 재개합니다.

[대형 폴더 업로드 방법](/docs/huggingface_hub/guides/upload#upload-a-large-folder), [대형 업로드 팁 및 트릭](/docs/huggingface_hub/guides/upload#tips-and-tricks-for-large-uploads), [저장소 저장 용량 한도 및 권장 사항](./storage-limits)을 확인하세요.