Data Studio

Mỗi trang dữ liệu bao gồm một bảng chứa nội dung của bộ dữ liệu, được sắp xếp theo các trang 100 dòng. Bạn có thể điều hướng giữa các trang bằng cách sử dụng các nút ở cuối bảng.

Kiểm tra phân phối dữ liệu

Ở đầu các cột, bạn có thể thấy các biểu đồ đại diện cho phân phối dữ liệu của chúng. Điều này giúp bạn có cái nhìn nhanh về mức độ cân bằng của các lớp, khoảng giá trị và phân phối của dữ liệu số cũng như độ dài văn bản, và tỷ lệ dữ liệu bị thiếu trong cột.

Lọc theo giá trị

Nếu bạn nhấp vào một cột của biểu đồ phân phối tần số từ một cột số, trình xem dữ liệu sẽ lọc dữ liệu và chỉ hiển thị các dòng có giá trị nằm trong khoảng được chọn. Tương tự, nếu bạn chọn một lớp từ một cột phân loại, nó sẽ chỉ hiển thị các dòng từ danh mục được chọn.

Tìm kiếm một từ trong bộ dữ liệu

Bạn có thể tìm kiếm một từ trong dataset bằng cách nhập nó vào thanh tìm kiếm ở đầu bảng. Việc tìm kiếm không phân biệt chữ hoa chữ thường và sẽ khớp với bất kỳ hàng nào chứa từ đó. Văn bản được tìm kiếm trong các cột có kiểu string, ngay cả khi các giá trị nằm lồng trong một từ điển hoặc một danh sách.

Chạy truy vấn SQL trên bộ dữ liệu

Bạn có thể chạy truy vấn SQL trên bộ dữ liệu trong trình duyệt bằng cách sử dụng SQL Console. Tính năng này cũng tận dụng tự động chuyển đổi sang Parquet của chúng tôi.

Để biết thêm thông tin, hãy xem hướng dẫn của chúng ta về SQL Console. Bạn có thể chạy các truy vấn SQL DuckDB tương tự từ dòng lệnh bằng hf datasets sql hoặc trực tiếp bằng DuckDB.

Chia sẻ một hàng cụ thể

Bạn có thể chia sẻ một hàng cụ thể bằng cách nhấp vào hàng đó, sau đó sao chép URL trên thanh địa chỉ của trình duyệt. Ví dụ https://huggingface.co/datasets/nyu-mll/glue/viewer/mrpc/test?p=2&row=241 sẽ mở dataset studio trên dataset MRPC, ở split test, và ở hàng thứ 241.

Dấu vết của Agent

Đẩy các trace JSONL thô của bạn từ các công cụ như Claude Code, Codex hoặc Pi vào một dataset để xem chúng trong Data Studio, hoặc đồng bộ chúng vào một Storage Bucket và mở các tệp .jsonl riêng lẻ ở đó. Cả hai cách đều sử dụng trình xem trace giống nhau để xem qua các phiên, lượt, các cuộc gọi công cụ và phản hồi của mô hình. Xem Agent Traces để biết các tác nhân được hỗ trợ và cách xem trace.

Bộ dữ liệu quy mô lớn

Dataset Viewer hỗ trợ các bộ dữ liệu quy mô lớn, nhưng tùy thuộc vào định dạng dữ liệu, nó có thể chỉ hiển thị 5GB đầu tiên của bộ dữ liệu:

• Đối với các tập dữ liệu Parquet: Dataset Viewer hiển thị toàn bộ tập dữ liệu, nhưng các tính năng sắp xếp, lọc và tìm kiếm chỉ được bật trên 5GB đầu tiên.
• Đối với các tập dữ liệu >5GB ở các định dạng khác (ví dụ: WebDataset hoặc JSON Lines): Dataset Viewer chỉ hiển thị 5GB đầu tiên, và các tính năng sắp xếp, lọc và tìm kiếm chỉ khả dụng trên 5GB đầu tiên này.

Trong trường hợp này, một thông báo thông tin sẽ cho bạn biết rằng Viewer chỉ hiển thị một phần. Đây nên là một mẫu đủ lớn để đại diện chính xác cho toàn bộ bộ dữ liệu, hãy cho chúng tôi biết nếu bạn cần một mẫu lớn hơn.

Truy cập các tệp parquet

Để cung cấp dữ liệu cho trình xem dataset, 5GB đầu tiên của mỗi dataset sẽ được tự động chuyển đổi sang định dạng Parquet (trừ khi nó đã là một dataset Parquet). Trong trình xem dataset (ví dụ, xem GLUE), bạn có thể nhấp vào “Auto-converted to Parquet” để truy cập các tệp Parquet. Vui lòng tham khảo tài liệu trình xem dataset để tìm hiểu cách truy vấn các tệp parquet của dataset bằng các thư viện như Polars, Pandas hoặc DuckDB.

Parquet là định dạng lưu trữ theo cột được tối ưu hóa cho việc truy vấn và xử lý các bộ dữ liệu lớn. Parquet là lựa chọn phổ biến cho xử lý và phân tích dữ liệu lớn, được sử dụng rộng rãi trong xử lý dữ liệu và học máy. Bạn có thể tìm hiểu thêm về các lợi thế của định dạng này trong tài liệu.

Bot chuyển đổi

Khi bạn tạo một dataset mới, bot parquet-converter sẽ thông báo cho bạn khi nó chuyển đổi dataset sang định dạng Parquet. Bài thảo luận mà bot mở trong repository cung cấp chi tiết về định dạng Parquet và các liên kết đến các tệp Parquet.

Truy cập theo chương trình

Bạn cũng có thể truy cập danh sách các tệp Parquet một cách lập trình bằng Hub API; ví dụ, endpoint https://huggingface.co/api/datasets/nyu-mll/glue/parquet liệt kê các tệp parquet của dataset nyu-mll/glue. CLI hf cung cấp cùng danh sách đó với hf datasets parquet, và hf datasets sql cho phép bạn truy vấn các tệp bằng SQL.

Chúng tôi cũng có tài liệu riêng về Dataset Viewer API, mà bạn có thể gọi trực tiếp. API đó cho phép bạn truy cập nội dung, metadata và thống kê cơ bản của tất cả các dataset trên Hugging Face Hub, đồng thời cung cấp dữ liệu cho giao diện Dataset viewer.

Xem trước bộ dữ liệu

Đối với các bộ dữ liệu lớn nhất, trang hiển thị bản xem trước 100 dòng đầu tiên thay vì trình xem đầy đủ tính năng. Hạn chế này chỉ áp dụng cho các bộ dữ liệu lớn hơn 5GB không ở định dạng Parquet gốc hoặc chưa được tự động chuyển đổi sang Parquet.

Nhúng Dataset Viewer vào một trang web

Bạn có thể nhúng Dataset Viewer vào trang web của mình bằng cách sử dụng iframe. URL cần dùng là https://huggingface.co/datasets/<namespace>/<dataset-name>/embed/viewer, trong đó <namespace> là chủ sở hữu của dataset và <dataset-name> là tên của dataset. Bạn cũng có thể truyền các tham số khác như subset, split, filter, search hoặc hàng được chọn.

Để biết thêm thông tin, hãy xem hướng dẫn của chúng tôi về Cách nhúng Dataset Viewer vào trang web.

Cấu hình Dataset Viewer

Để có Dataset Viewer hoạt động đúng cho bộ dữ liệu của bạn, hãy đảm bảo bộ dữ liệu của bạn ở định dạng và cấu trúc được hỗ trợ. Ngoài ra, còn có tùy chọn để cấu hình bộ dữ liệu của bạn bằng YAML.

Bạn có thể chỉ định các tệp cần hiển thị trong Dataset Viewer bằng cách thêm khối cấu hình YAML ở đầu tệp README.md của bộ dữ liệu. Ví dụ, để chọn tệp nào thuộc split nào:

---
configs:
- config_name: default
  data_files:
  - split: train
    path: "data.csv"
  - split: test
    path: "holdout.csv"
---

Bạn cũng có thể chọn nhiều tệp cho mỗi split hoặc sử dụng glob patterns:

---
configs:
- config_name: default
  data_files:
  - split: train
    path:
    - "data/train_part1.csv"
    - "data/train_part2.csv"
  - split: test
    path: "data/*.csv"
---

Đối với các bộ dữ liệu riêng tư, Dataset Viewer được bật cho người dùng PRO và tổ chức Team hoặc Enterprise.

Để biết thêm thông tin, hãy xem hướng dẫn của chúng tôi về Cách cấu hình Dataset Viewer.