Các tham số kiểm soát độ dài của đầu ra

• max_length (int, tùy chọn) — max_new_tokens được khuyến nghị để kiểm soát số lượng token mà mô hình tạo ra. max_length được giữ lại để đảm bảo tương thích ngược.
• max_new_tokens (int, tùy chọn) — Số lượng token tối đa cần tạo, bỏ qua số lượng token trong prompt.
• min_length (int, tùy chọn) — Độ dài tối thiểu của chuỗi được tạo ra. Tương ứng với độ dài của prompt đầu vào + min_new_tokens. Hiệu ứng của nó bị ghi đè bởi min_new_tokens, nếu tham số đó cũng được đặt.
• min_new_tokens (int, tùy chọn) — Số lượng token tối thiểu cần tạo, không tính số token trong prompt.
• early_stopping (bool hoặc str, tùy chọn) — Kiểm soát điều kiện dừng cho các phương pháp dựa trên beam, chẳng hạn như beam-search. Nó chấp nhận các giá trị sau: True, khi quá trình sinh dừng ngay khi có num_beams ứng viên hoàn chỉnh; False, khi một heuristic được áp dụng và quá trình sinh dừng khi khả năng tìm thấy các ứng viên tốt hơn là rất thấp; "never", khi quy trình beam search chỉ dừng khi không thể có các ứng viên tốt hơn hơn (thuật toán beam search chính tắc).
• max_time (float, tùy chọn) — Thời gian tối đa (tính bằng giây) mà bạn cho phép quá trình tính toán chạy. Việc generation vẫn sẽ hoàn thành lượt xử lý hiện tại sau khi thời gian đã phân bổ hết.
• stop_strings (str hoặc list[str], tùy chọn) — Một chuỗi hoặc danh sách các chuỗi sẽ kết thúc quá trình tạo nếu mô hình xuất ra chúng.

Các tham số kiểm soát chiến lược sinh được sử dụng

• do_sample (bool) — Có sử dụng sampling hay không; nếu không thì dùng greedy decoding.
• num_beams (int, tùy chọn) — Số lượng beam cho beam search. 1 có nghĩa là không dùng beam search.
• use_mtp — (bool): Có sử dụng Multi-Token Prediction (MTP) hay không nếu mô hình hỗ trợ tính năng này.

Các tham số kiểm soát bộ nhớ đệm

• use_cache (bool) — Xác định xem mô hình có nên sử dụng các chú ý key/value cuối cùng trước đó (nếu áp dụng được cho mô hình) để tăng tốc quá trình giải mã hay không.
• cache_implementation (str, tùy chọn) — Tên của lớp cache sẽ được khởi tạo trong generate, để giải mã nhanh hơn. Các giá trị có thể là:
  • "dynamic": DynamicCache
  • "static": StaticCache
  • "offloaded": DynamicCache(offloaded=True)
  • "offloaded_static": StaticCache(offloaded=True)
  • "quantized": QuantizedCache

  Nếu không có giá trị nào được chỉ định, chúng tôi sẽ sử dụng bộ nhớ đệm mặc định cho mô hình (thường là DynamicCache). Xem tài liệu về bộ nhớ đệm của chúng tôi để biết thêm thông tin.

• cache_config (dict, tùy chọn, mặc định là None) — Các đối số được sử dụng trong lớp cache key-value có thể được truyền vào cache_config.
• max_cache_len (int, tùy chọn) — Chỉ được sử dụng với bộ nhớ đệm tĩnh (cache_implementation được đặt thành "static" hoặc "offloaded_static"). Đặt trước kích thước bộ nhớ đệm bằng độ dài này thay vì max_length của lần gọi hiện tại. Hãy đặt nó một lần bằng kích thước lớn nhất của lần gọi mà bạn dự kiến, để các lần gọi generate() lặp lại với prompt dài hơn hoặc max_new_tokens lớn hơn (tới ngưỡng này) có thể tái sử dụng cùng một bộ nhớ đệm thay vì kích hoạt việc cấp phát lại bộ nhớ và biên dịch lại torch.compile.

Các tham số để thao tác với logits đầu ra của mô hình

• temperature (float, tùy chọn) — Giá trị được dùng để điều chỉnh xác suất của token tiếp theo. Giá trị này được đặt trong tệp generation_config.json của mô hình. Nếu không được đặt, giá trị mặc định là 1.0
• top_k (int, tùy chọn) — Số lượng token từ vựng có xác suất cao nhất được giữ lại cho lọc top-k. Giá trị này được đặt trong tệp generation_config.json của mô hình. Nếu không được đặt, giá trị mặc định là 50.
• top_p (float, tùy chọn) — Nếu được đặt thành float < 1, chỉ tập hợp nhỏ nhất các token có xác suất cao nhất với tổng xác suất bằng hoặc lớn hơn top_p sẽ được giữ lại cho quá trình sinh. Giá trị này được đặt trong tệp generation_config.json của mô hình. Nếu không được đặt, giá trị mặc định là 1.0
• min_p (float, tùy chọn) — Xác suất tối thiểu của token, sẽ được nhân với xác suất của token có khả năng cao nhất. Giá trị này phải nằm trong khoảng từ 0 đến 1. Các giá trị điển hình nằm trong khoảng 0.01-0.2, có tính chọn lọc tương đương với việc đặt top_p trong khoảng 0.99-0.8 (sử dụng giá trị top_p ngược lại so với thông thường).
• top_h (float, tùy chọn) — Hệ số mở rộng ngân sách entropy, kiểm soát mức độ entropy của phân phối được giữ lại khi lấy mẫu. Phải là một giá trị từ 0 đến 1. Ở mỗi bước, các token được sắp xếp theo xác suất, và tiền tố nhỏ nhất của các token được giữ lại có entropy chuẩn hóa lại nhỏ hơn hoặc bằng top_h nhân với entropy của phân phối đầy đủ. Các giá trị nhỏ hơn (ví dụ: 0,2–0,5) dẫn đến đầu ra tập trung và tất định hơn, trong khi các giá trị gần 1,0 cho phép nhiều tính ngẫu nhiên và đa dạng hơn. Các giá trị điển hình nằm trong khoảng 0,3–0,6.
• typical_p (float, tùy chọn) — Độ điển hình cục bộ đo mức độ tương đồng giữa xác suất có điều kiện để dự đoán token tiếp theo và xác suất có điều kiện kỳ vọng để dự đoán một token ngẫu nhiên tiếp theo, dựa trên phần văn bản đã được tạo. Nếu đặt bằng float < 1, tập hợp nhỏ nhất gồm các token điển hình cục bộ nhất với tổng xác suất bằng hoặc lớn hơn typical_p sẽ được giữ lại cho quá trình tạo. Xem bài báo này để biết thêm chi tiết.
• epsilon_cutoff (float, tùy chọn) — Nếu được đặt thành một số float nằm nghiêm ngặt giữa 0 và 1, chỉ các token có xác suất điều kiện lớn hơn epsilon_cutoff mới được lấy mẫu. Trong bài báo, các giá trị được đề xuất dao động từ 3e-4 đến 9e-4, tùy thuộc vào kích thước của mô hình. Xem Truncation Sampling as Language Model Desmoothing để biết thêm chi tiết.
• eta_cutoff (float, tùy chọn) — Lấy mẫu Eta là sự kết hợp giữa lấy mẫu điển hình cục bộ và lấy mẫu epsilon. Nếu được đặt thành một số float nằm nghiêm ngặt giữa 0 và 1, một token chỉ được xem xét nếu nó lớn hơn eta_cutoff hoặc sqrt(eta_cutoff) * exp(-entropy(softmax(next_token_logits))). Số hạng sau, về mặt trực quan, là xác suất của token tiếp theo được kỳ vọng, được nhân với sqrt(eta_cutoff). Trong bài báo, các giá trị được đề xuất dao động từ 3e-4 đến 2e-3, tùy thuộc vào kích thước của mô hình. Xem Truncation Sampling as Language Model Desmoothing để biết thêm chi tiết.
• repetition_penalty (float, tùy chọn) — Tham số cho hình phạt lặp lại. 1.0 có nghĩa là không có hình phạt. Xem bài báo này để biết thêm chi tiết.
• encoder_repetition_penalty (float, tùy chọn) — Tham số cho encoder_repetition_penalty. Một hình phạt mũ áp dụng cho các chuỗi không có trong đầu vào gốc. 1.0 nghĩa là không có hình phạt.
• length_penalty (float, tùy chọn) — Phạt mũ theo độ dài được sử dụng với sinh dựa trên beam. Nó được áp dụng dưới dạng mũ của độ dài chuỗi, sau đó dùng để chia điểm của chuỗi. Vì điểm là log likelihood của chuỗi (tức là âm), length_penalty > 0.0 khuyến khích các chuỗi dài hơn, trong khi length_penalty < 0.0 khuyến khích các chuỗi ngắn hơn.
• no_repeat_ngram_size (int, tùy chọn) — Nếu được đặt thành int > 0, tất cả các ngram có kích thước đó chỉ có thể xuất hiện một lần.
• bad_words_ids (list[list[int]], tùy chọn) — Danh sách các danh sách id token không được phép tạo ra. Xem NoBadWordsLogitsProcessor để biết thêm tài liệu và ví dụ.
• renormalize_logits (bool) — Có nên chuẩn hóa lại logits sau khi áp dụng tất cả các bộ xử lý logits (bao gồm cả các bộ tùy chỉnh) hay không. Rất khuyến nghị đặt cờ này thành True vì các thuật toán tìm kiếm giả định rằng các logits điểm đã được chuẩn hóa, nhưng một số bộ xử lý logits có thể phá vỡ sự chuẩn hóa đó.
• forced_bos_token_id (int, tùy chọn, mặc định là model.config.forced_bos_token_id) — Id của token được ép buộc làm token đầu tiên được sinh ra sau decoder_start_token_id. Hữu ích cho các mô hình đa ngôn ngữ như mBART, nơi token đầu tiên được sinh ra cần phải là token của ngôn ngữ đích.
• forced_eos_token_id (int or list[int], *optional*, defaults to model.config.forced_eos_token_id) -- The id of the token to force as the last generated token when max_length` is reached. Optionally, use a list to set multiple end-of-sequence tokens.
• remove_invalid_values (bool) — Có nên loại bỏ các đầu ra nan và inf có thể xảy ra của mô hình để ngăn phương pháp sinh bị lỗi hay không. Lưu ý rằng việc sử dụng remove_invalid_values có thể làm chậm quá trình sinh.
• exponential_decay_length_penalty (tuple(int, float), tùy chọn) — Tuple này thêm một hình phạt độ dài tăng theo hàm mũ sau khi một số lượng token nhất định đã được sinh ra. Tuple phải bao gồm: (start_index, decay_factor) trong đó start_index chỉ định vị trí bắt đầu của hình phạt và decay_factor đại diện cho hệ số suy giảm theo hàm mũ
• suppress_tokens (list[int], tùy chọn) — Một danh sách các token sẽ bị loại bỏ trong quá trình sinh. Bộ xử lý logit SuppressTokens sẽ đặt log probs của chúng thành -inf để chúng không được lấy mẫu.
• begin_suppress_tokens (list[int], tuỳ chọn) — Một danh sách các token sẽ bị chặn ở đầu quá trình sinh. Bộ xử lý logit SuppressBeginTokens sẽ đặt xác suất log của chúng thành -inf để chúng không được lấy mẫu.
• sequence_bias (dict[tuple[int], float], tuỳ chọn) — Từ điển ánh xạ một chuỗi token đến số hạng bias của nó. Bias dương làm tăng xác suất chuỗi được chọn, trong khi bias âm thì ngược lại. Xem SequenceBiasLogitsProcessor để biết thêm tài liệu và ví dụ.
• token_healing (bool) — Khôi phục các token cuối của prompt bằng cách thay thế chúng bằng phần mở rộng phù hợp. Điều này nâng cao chất lượng của các kết quả hoàn thành cho những prompt bị ảnh hưởng bởi thiên kiến token hóa tham lam.
• guidance_scale (float, tùy chọn) — Thang độ dẫn hướng cho classifier free guidance (CFG). CFG được kích hoạt bằng cách đặt guidance_scale > 1. Thang độ dẫn hướng cao hơn khuyến khích mô hình tạo ra các mẫu gắn kết chặt chẽ hơn với prompt đầu vào, thường phải đánh đổi bằng chất lượng kém hơn.
• watermarking_config (BaseWatermarkingConfig hoặc dict, tùy chọn) — Các đối số được sử dụng để thêm dấu nước vào đầu ra của mô hình bằng cách thêm một độ lệch nhỏ vào một tập hợp các token “xanh” được chọn ngẫu nhiên. Xem tài liệu của SynthIDTextWatermarkingConfig và WatermarkingConfig để biết thêm chi tiết. Nếu được truyền dưới dạng Dict, nó sẽ được chuyển đổi thành WatermarkingConfig bên trong.

Các tham số xác định các biến đầu ra của generate

• num_return_sequences (int, tùy chọn) — Số lượng các chuỗi trả về được tính toán độc lập cho mỗi phần tử trong batch.
• output_attentions (bool) — Có nên trả về các tensor attentions của tất cả các lớp attention hay không. Xem attentions trong phần tensor được trả về để biết thêm chi tiết.
• output_hidden_states (bool) — Có trả về trạng thái ẩn (hidden states) của tất cả các lớp hay không. Xem hidden_states trong phần tensor trả về để biết thêm chi tiết.
• output_scores (bool) — Có trả về điểm dự đoán hay không. Xem scores trong các tensor được trả về để biết thêm chi tiết.
• output_logits (bool) — Có trả về các điểm logit dự đoán chưa được xử lý hay không. Xem logits trong các tensor được trả về để biết thêm chi tiết.
• return_dict_in_generate (bool) — Có nên trả về một ModelOutput hay không, thay vì chỉ trả về chuỗi được tạo ra. Cờ này phải được đặt thành True để trả về bộ nhớ đệm sinh (khi use_cache là True) hoặc các đầu ra tùy chọn (xem các cờ bắt đầu bằng output_)

Các token đặc biệt có thể được sử dụng khi tạo sinh

• pad_token_id (int, tùy chọn) — Id của token padding.
• bos_token_id (int, tùy chọn) — Id của token beginning-of-sequence.
• eos_token_id (Union[int, list[int]], tuỳ chọn) — Id của token kết thúc chuỗi. Tuỳ chọn, dùng một danh sách để đặt nhiều token kết thúc chuỗi.

Các tham số sinh chỉ dành cho mô hình encoder-decoder

• encoder_no_repeat_ngram_size (int, tùy chọn) — Nếu được đặt thành int > 0, tất cả các ngram có kích thước đó xuất hiện trong encoder_input_ids sẽ không thể xuất hiện trong decoder_input_ids.
• decoder_start_token_id (int hoặc list[int], tùy chọn) — Nếu một mô hình encoder-decoder bắt đầu giải mã bằng một token khác với bos, đây là id của token đó hoặc một danh sách có độ dài batch_size. Việc chỉ định một danh sách cho phép sử dụng các id bắt đầu khác nhau cho từng phần tử trong batch (ví dụ: các mô hình đa ngôn ngữ với các ngôn ngữ đích khác nhau trong cùng một batch)

Các tham số sinh chỉ dành riêng cho việc sinh của trợ lý

• is_assistant (bool) — Xác định xem mô hình có phải là mô hình trợ lý (draft) hay không.
• num_assistant_tokens (int, tuỳ chọn) — Xác định số lượng token suy đoán mà mô hình trợ lý sẽ tạo ra trước khi được kiểm tra bởi mô hình đích ở mỗi lần lặp. Các giá trị cao hơn của num_assistant_tokens khiến quá trình tạo ra mang tính suy đoán hơn: nếu mô hình trợ lý hoạt động hiệu quả, mức tăng tốc lớn hơn có thể đạt được; nếu mô hình trợ lý cần nhiều lần hiệu chỉnh, mức tăng tốc sẽ thấp hơn.
• num_assistant_tokens_schedule (str, tuỳ chọn) — Định nghĩa lịch trình để thay đổi số lượng token trợ lý tối đa trong quá trình suy luận.
  • "heuristic": Khi tất cả các token suy đoán đều chính xác, tăng num_assistant_tokens lên 2, ngược lại giảm đi 1. Giá trị của num_assistant_tokens được giữ nguyên qua nhiều lần gọi sinh với cùng một mô hình trợ lý.
  • "heuristic_transient": Tương tự như "heuristic" nhưng num_assistant_tokens sẽ được đặt lại về giá trị ban đầu sau mỗi lần gọi generation.
  • "constant": num_assistant_tokens không thay đổi trong quá trình sinh
• assistant_confidence_threshold (float, tùy chọn) — Ngưỡng độ tin cậy cho mô hình trợ lý. Nếu độ tin cậy của mô hình trợ lý đối với dự đoán cho token hiện tại thấp hơn ngưỡng này, mô hình trợ lý sẽ dừng vòng lặp tạo token hiện tại, ngay cả khi số lượng speculative tokens (được định nghĩa bởi num_assistant_tokens) chưa đạt đến. Ngưỡng độ tin cậy của trợ lý được điều chỉnh trong suốt các vòng lặp suy đoán để giảm số lần forward pass không cần thiết của draft và target, với xu hướng tránh âm tính giả. Giá trị assistant_confidence_threshold được duy trì qua nhiều lần gọi tạo với cùng một mô hình trợ lý. Đây là phiên bản không giám sát của dynamic speculation lookahead từ Dynamic Speculation Lookahead Accelerates Speculative Decoding of Large Language Models https://huggingface.co/papers/2405.04304.
• prompt_lookup_num_tokens (int, tùy chọn) — Số lượng token được xuất ra dưới dạng các token ứng viên.
• max_matching_ngram_size (int, tùy chọn) — Kích thước ngram tối đa được xem xét để khớp trong prompt. Mặc định là 2 nếu không được cung cấp.
• assistant_early_exit(int, optional) — Nếu được đặt thành một số nguyên dương, early exit của model sẽ được sử dụng như một assistant. Chỉ có thể được sử dụng với các model hỗ trợ early exit (tức là các model mà logits từ các lớp trung gian có thể được giải thích bởi LM head).
• assistant_lookbehind(int, optional) — Nếu được đặt thành một số nguyên dương, quá trình mã hóa lại sẽ xem xét thêm assistant_lookbehind token trợ lý cuối cùng để căn chỉnh token chính xác. Chỉ có thể được sử dụng với các tokenizer khác nhau trong speculative decoding. Xem blog này để biết thêm chi tiết.
• target_lookbehind(int, optional) — Nếu được đặt thành một số nguyên dương, quá trình mã hóa lại sẽ xem xét thêm target_lookbehind token đích cuối cùng để căn chỉnh token chính xác. Chỉ có thể được sử dụng với các tokenizer khác nhau trong speculative decoding. Xem blog này để biết thêm chi tiết.
• assistant_ensemble_weight (float, tùy chọn) — Bật xác minh ensemble tĩnh trong speculative decoding. Nếu được đặt thành một giá trị trong (0.0, 1.0), verifier sẽ chấp nhận các token dựa trên hỗn hợp w * p_target + (1 - w) * q_draft thay vì p_target, đánh đổi một độ lệch phân phối có kiểm soát để đạt tỷ lệ chấp nhận cao hơn. Mặc định là None, giúp giữ cho quá trình giải mã không mất mát. Yêu cầu mô hình assistant phải trả về logits, do đó không tương thích với prompt lookup decoding.
• speculation_type (str, tùy chọn) — Loại suy đoán được yêu cầu. Các giá trị được chấp nhận là dflash.

Các tham số liên quan đến hiệu năng và biên dịch

• compile_config (CompileConfig, tùy chọn) — Nếu đang sử dụng cache có thể biên dịch, tham số này kiểm soát cách generate sẽ compile bước truyền thẳng (forward pass) để suy luận nhanh hơn.
• disable_compile (bool) — Có nên vô hiệu hóa việc biên dịch tự động của bước forward hay không. Việc biên dịch tự động diễn ra khi các tiêu chí cụ thể được đáp ứng, bao gồm việc sử dụng cache có thể biên dịch. Vui lòng mở một issue nếu bạn phát hiện nhu cầu sử dụng cờ này.