参数

• inputs (torch.Tensor，形状为 (batch_size, sequence_length) 或 (batch_size, sequence_length, feature_dim)，可选) — 输入原始语音波形或语音特征的浮点数值。这些值可以通过将 .flac 或 .wav 音频文件加载为 list[float]、numpy.ndarray 或 torch.Tensor 类型的数组来获得，例如 使用 torchcodec 库（pip install torchcodec）或 soundfile 库（pip install soundfile）。 要将数组准备为 inputs，应使用 Wav2Vec2Processor 或 Speech2TextProcessor 进行填充并转换为 torch.Tensor 类型的张量。
• attention_mask (torch.Tensor 形状为 (batch_size, sequence_length), ，可选) — 用于避免对填充 token 索引执行注意力机制的掩码。掩码值取自 [0, 1]:
  • 1 表示未被屏蔽的 token，
  • 对于被掩码的 token，值为 0。

  什么是注意力掩码？

• decoder_input_ids (torch.LongTensor 形状为 (batch_size, target_sequence_length), 可选) — 解码器输入序列中各 token 在词汇表中的索引。可通过 PreTrainedTokenizer 获取索引。详情请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。什么是输入 ID？如果使用 past_key_values，则只需输入最后一个 decoder_input_ids（参见 past_key_values）。在训练时，模型会自动通过将 labels 向右移位、用 pad_token_id 替换 -100，并在前面添加 decoder_start_token_id 来创建 decoder_input_ids。

  可以使用 PreTrainedTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

  如果使用了 past_key_values，则可以选择性地仅输入最后几个 decoder_input_ids（参见 past_key_values）。

  在训练过程中，模型会自动将 labels 向右移位，用 pad_token_id 替换 -100，并在前面添加 decoder_start_token_id，从而生成 decoder_input_ids。

• decoder_attention_mask（形状为 (batch_size, target_sequence_length) 的 torch.BoolTensor，可选） — 默认行为：生成一个忽略 decoder_input_ids 中填充标记的张量。默认情况下也会使用因果掩码。
• encoder_outputs (tuple[torch.Tensor]，可选) — 元组由 (last_hidden_state，可选：hidden_states，可选：attentions) last_hidden_state 的形状为 (batch_size, sequence_length, hidden_size)，可选)，是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力。
• past_key_values (~cache_utils.Cache, 可选) — 预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常由 past_key_values 在解码的先前阶段返回，当 use_cache=True 或 config.use_cache=True.

  仅允许将 Cache 实例作为输入，请参阅我们的 kv cache 指南。 如果未传入 past_key_values，则默认会初始化 DynamicCache。

  模型将输出与输入相同的缓存格式。

  如果使用了 past_key_values，用户应仅输入未处理的 input_ids（即未向该模型提供其过去键值状态的那些），其形状为 (batch_size, unprocessed_length)，而不是形状为 (batch_size, sequence_length) 的全部 input_ids。

• decoder_inputs_embeds (torch.Tensor，形状为 (batch_size, target_sequence_length, hidden_size)，可选) — 可选地，您可以选择直接传入嵌入表示，而不是传入 decoder_input_ids。如果您希望对 decoder_input_ids 索引如何转换为相应向量拥有比模型内部嵌入查找矩阵更多的控制权，这将非常有用。
• labels（形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选）— 用于计算解码器掩码语言建模损失的标签。索引应在 [-100, 0, ..., config.vocab_size] 范围内（参见 input_ids 的文档字符串）。索引设置为 -100 的令牌将被忽略（即被掩码），损失仅针对标签位于 [0, ..., config.vocab_size] 范围内的令牌进行计算。
• use_cache (bool，可选) — 如果设置为 True，则会返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量中的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的 hidden_states。
• input_values (torch.Tensor，形状为 (batch_size, sequence_length)，可选) — 输入原始语音波形的浮点值。可以通过将 .flac 或 .wav 音频文件加载为 list[float] 或 numpy.ndarray 类型的数组来获取这些值，例如 使用 torchcodec 库（pip install torchcodec）或 soundfile 库（pip install soundfile）。要将该数组处理为 input_values，应使用 Wav2Vec2Processor 进行填充并转换为 torch.Tensor 类型的张量。详情请参见 Wav2Vec2Processor.call()。
• input_features (torch.Tensor，形状为 (batch_size, sequence_length, feature_dim)，可选) — 与输入音频特征对应的张量。可以使用 feature_extractor_class 获取音频特征。有关详细信息，请参阅 feature_extractor_class.__call__（processor_class 使用 feature_extractor_class 来处理音频）。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

参数

• encoder_pretrained_model_name_or_path (str, 可选) — 初始化编码器所需的信息。可以是以下之一：
  • 一个字符串，表示托管在 huggingface.co 模型仓库中的预训练模型的 model id。
  • 指向一个目录的路径，该目录包含使用 save_pretrained() 保存的模型权重，例如 ./my_model_directory/。
• decoder_pretrained_model_name_or_path (str, 可选, 默认为 None) — 启动解码器所需的信息。可以是：
  • 一个字符串，表示托管在 huggingface.co 模型仓库中的预训练模型的 model id。
  • 指向一个目录的路径，该目录包含使用 save_pretrained() 保存的模型权重，例如 ./my_model_directory/。
• model_args（其余位置参数，可选）— 所有其余位置参数都会传递给底层模型的 __init__ 方法。
• kwargs (其余关键字参数字典， 可选) — 可用于更新配置对象（在加载之后）并初始化模型（例如， output_attentions=True).
  • 要更新编码器配置，请为每个配置参数使用前缀 encoder_。
  • 要更新解码器配置，请为每个配置参数使用前缀 decoder_。
  • 要更新父模型配置，请勿为每个配置参数使用前缀。

  行为取决于是否提供了 config 或自动加载。