# CodeLlama

[Code Llama](https://huggingface.co/papers/2308.12950) — это специализированное семейство больших языковых моделей на базе [Llama 2](./llama2), предназначенное для задач программирования. Оно представлено в разных вариантах: для общего кода, специфичном для Python и вариант, следующий инструкции, — все они доступны с 7B, 13B, 34B и 70B параметрами. Модели Code Llama могут генерировать, объяснять и даже заполнять отсутствующие части вашего кода (так называемый «infilling»). Они также способны обрабатывать очень длинные контексты с устойчивой генерацией до 100k токенов, несмотря на то, что обучались на последовательностях длиной 16K токенов.

Все исходные контрольные точки Code Llama можно найти в коллекции [Code Llama](https://huggingface.co/collections/meta-llama/code-llama-family-661da32d0a9d678b6f55b933).

> [!TIP]
> Щёлкните по моделям Code Llama в боковой панели справа, чтобы увидеть больше примеров применения Code Llama к различным задачам программирования.

Приведённый ниже пример показывает, как генерировать код с помощью [Pipeline](/docs/transformers/v5.23.0/ru/main_classes/pipelines#transformers.Pipeline), [AutoModel](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoModel) или из командной строки.

```python
from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model="meta-llama/CodeLlama-7b-hf",
    device_map=0
)

# basic code generation
result = pipe("# Function to calculate the factorial of a number\ndef factorial(n):", max_new_tokens=256)
print(result[0]['generated_text'])

# infilling
infill_result = pipe("def remove_non_ascii(s: str) -> str:\n    \"\"\" <FILL_ME>\n    return result", max_new_tokens=200)
print(infill_result[0]['generated_text'])
```

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("meta-llama/CodeLlama-7b-hf")
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/CodeLlama-7b-hf",
    device_map="auto",
    attn_implementation="sdpa"
)

# basic code generation
prompt = "# Function to calculate the factorial of a number\ndef factorial(n):"
input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)

output = model.generate(
    **input_ids,
    max_new_tokens=256,
    cache_implementation="static"
)
print(tokenizer.decode(output[0], skip_special_tokens=True))

# infilling
infill_prompt = "def remove_non_ascii(s: str) -> str:\n    \"\"\" <FILL_ME>\n    return result"
input_ids = tokenizer(infill_prompt, return_tensors="pt").to(model.device)

filled_output = model.generate(**input_ids, max_new_tokens=200)
filled_text = tokenizer.decode(filled_output[0], skip_special_tokens=True)
print(filled_text)
```

Квантование снижает нагрузку на память при работе с большими моделями, представляя веса в пониженной точности. Подробнее о доступных бэкендах квантования см. в обзоре [Квантование](../quantization/overview).

Приведённый ниже пример использует [bitsandbytes](../quantization/bitsandbytes) для квантования только весов до 4 бит.

```python
# pip install bitsandbytes
import torch

from transformers import AutoModelForCausalLM, BitsAndBytesConfig, CodeLlamaTokenizer

bnb_config = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_compute_dtype=torch.bfloat16, bnb_4bit_quant_type="nf4", bnb_4bit_use_double_quant=True)
tokenizer = CodeLlamaTokenizer.from_pretrained("meta-llama/CodeLlama-34b-hf")
model = AutoModelForCausalLM.from_pretrained(
   "meta-llama/CodeLlama-34b-hf",
   device_map="auto",
   quantization_config=bnb_config
)

prompt = "# Write a Python function to check if a string is a palindrome\ndef is_palindrome(s):"
input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)

output = model.generate(**input_ids, max_new_tokens=200, cache_implementation="static")
print(tokenizer.decode(output[0], skip_special_tokens=True))
```

Используйте [AttentionMaskVisualizer](https://github.com/huggingface/transformers/blob/beb9b5b02246b9b7ee81ddf938f93f44cfeaad19/src/transformers/utils/attention_visualizer.py#L139), чтобы лучше понять, к каким токенам модель может и не может обращать внимание.

```python
from transformers.utils.attention_visualizer import AttentionMaskVisualizer

visualizer = AttentionMaskVisualizer("meta-llama/CodeLlama-7b-hf")
visualizer("""def func(a, b):
  return a + b""")
```

    

## Примечания

- Функция Infilling доступна только в базовых моделях 7B и 13B, но не в моделях Python, Instruct, 34B или 70B.
- Используйте токен `<FILL_ME>` в том месте, где вы хотите, чтобы ввод был заполнен. Токенизатор разбивает этот токен, чтобы создать строку входных данных в формате, соответствующем [исходному шаблону обучения](https://github.com/facebookresearch/codellama/blob/cb51c14ec761370ba2e2bc351374a79265d0465e/llama/generation.py#L402). Это более надёжный подход, чем самостоятельная подготовка шаблона.

    ```py
    from transformers import LlamaForCausalLM, CodeLlamaTokenizer

    tokenizer = CodeLlamaTokenizer.from_pretrained("meta-llama/CodeLlama-7b-hf")
    model = LlamaForCausalLM.from_pretrained("meta-llama/CodeLlama-7b-hf", device_map="auto")
    PROMPT = '''def remove_non_ascii(s: str) -> str:
        """ <FILL_ME>
        return result
    '''
    input_ids = tokenizer(PROMPT, return_tensors="pt").to(model.device)["input_ids"]
    generated_ids = model.generate(input_ids, max_new_tokens=128)

    filling = tokenizer.batch_decode(generated_ids[:, input_ids.shape[1]:], skip_special_tokens = True)[0]
    print(PROMPT.replace("<FILL_ME>", filling))
    ```

- Используйте `bfloat16` для дальнейшего обучения или дообучения, а `float16` — для инференса.
- Символ `BOS` не используется при кодировании префикса или суффикса для заполнения пропусков, а появляется только в начале каждого запроса.
- Токенизатор представляет собой модель байтового парного кодирования, основанную на [SentencePiece](https://github.com/google/sentencepiece). При декодировании, если первый токен является началом слова (например, «Banana»), токенезатор не добавляет пробел-префикс к строке.

## CodeLlamaTokenizer[[transformers.CodeLlamaTokenizer]]

#### transformers.CodeLlamaTokenizer[[transformers.CodeLlamaTokenizer]]

```python
transformers.CodeLlamaTokenizer(vocab: str | dict[str, int] | None = None, merges: str | list[str] | None = None, clean_up_tokenization_spaces = False, unk_token = '<unk>', bos_token = '<s>', eos_token = '</s>', prefix_token = '▁<PRE>', middle_token = '▁<MID>', suffix_token = '▁<SUF>', eot_token = '▁<EOT>', fill_token = '<FILL_ME>', additional_special_tokens = None, use_default_system_prompt: bool = False, add_prefix_space: bool | None = True, add_bos_token: bool = True, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/code_llama/tokenization_code_llama.py#L41)

**Параметры:**

clean_up_tokenization_spaces (`str`, *необязательный*, по умолчанию `False`) : Нужно ли очищать пробелы после декодирования. Очистка заключается в удалении возможных артефактов, таких как лишние пробелы.

unk_token (`str`, *необязательный*, по умолчанию `"<unk>"`) : Неизвестный токен. Токен, отсутствующий в словаре, не может быть преобразован в ID, вместо этого ему присваивается данный токен.

bos_token (`str`, *необязательный*, по умолчанию `"<s>"`) : Токен начала последовательности, использовавшийся во время предварительного обучения. Может использоваться в качестве токена классификатора последовательности.

eos_token (`str`, *необязательный*, по умолчанию `"</s>"`) : Токен конца последовательности.

prefix_token (`str`, *необязательный*, по умолчанию `"▁<PRE>"`) : Токен префикса, используемый для infilling.

middle_token (`str`, *необязательный*, по умолчанию `"▁<MID>"`) : Средний токен, используемый для infilling.

suffix_token (`str`, *необязательный*, по умолчанию `"▁<SUF>"`) : Токен суффикса, используемый для infilling.

eot_token (`str`, *необязательный*, по умолчанию `"▁<EOT>"`) : Токен конца текста, используемый для infilling.

fill_token (`str`, *необязательный*, по умолчанию `"<FILL_ME>"`) : Токен, используемый для разделения входных данных на префикс и суффикс.

additional_special_tokens (`list[str]`, *необязательный*) : Дополнительные специальные токены, используемые токенизатором.

add_bos_token (`bool`, *необязательный*, по умолчанию `True`) : Добавлять ли токен начала последовательности в начало последовательностей.

add_eos_token (`bool`, *необязательный*, по умолчанию `False`) : Добавлять ли токен конца последовательности в конец последовательностей.

use_default_system_prompt (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли системный промпт по умолчанию для Llama.

add_prefix_space (`bool`, *необязательный*) : Добавлять ли начальный пробел к входным данным. Это позволяет обрабатывать первое слово так же, как и любое другое.

vocab (`str`, `dict` или `list`, *необязательный*) : Пользовательский словарь. Если не указан, словарь загружается из vocab_file.

merges (`str` или `list`, *необязательный*) : Пользовательский список слияний. Если не указан, слияния загружаются из merges_file.

vocab_file (`str`, *необязательный*) : файл [SentencePiece](https://github.com/google/sentencepiece) (обычно с расширением .model), содержащий словарь, необходимый для создания токенизатора.

Создайте токенизатор Llama. Основан на байтовом уровне Byte-Pair-Encoding.

Здесь заметно используется ByteFallback и не выполняется нормализация.

```python
>>> from transformers import CodeLlamaTokenizer

>>> tokenizer = CodeLlamaTokenizer.from_pretrained("hf-internal-testing/llama-tokenizer")
>>> tokenizer.encode("Hello this is a test")
[1, 15043, 445, 338, 263, 1243]
```

Если вы хотите изменить `bos_token` или `eos_token`, убедитесь, что вы указали их при инициализации модели, либо вызовите `tokenizer.update_post_processor()`, чтобы убедиться, что постобработка выполняется корректно (иначе значения первого и последнего токена закодированной последовательности будут неверными). Для получения дополнительных сведений ознакомьтесь с документацией [post-processors] (https://huggingface.co/docs/tokenizers/api/post-processors).

Этот токенизатор наследуется от [PreTrainedTokenizerFast](/docs/transformers/v5.23.0/ru/main_classes/tokenizer#transformers.TokenizersBackend), который содержит большинство основных методов. За дополнительной информацией об этих методах пользователям следует обращаться к этому суперклассу. Конфигурация по умолчанию совпадает с конфигурацией [meta-llama/CodeLlama-7b-Instruct-hf](https://huggingface.co/meta-llama/CodeLlama-7b-Instruct-hf/blob/main/tokenizer_config.json), которая поддерживает заполнение промптов (prompt infilling).

#### get_special_tokens_mask[[transformers.CodeLlamaTokenizer.get_special_tokens_mask]]

```python
get_special_tokens_mask(token_ids_0: list[int], token_ids_1: list[int] | None = None, already_has_special_tokens: bool = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L1337)

**Параметры:**

token_ids_0 : список идентификаторов для (возможно, уже отформатированной) последовательности.

token_ids_1 : Не используется, если `already_has_special_tokens=True`. В этом случае должно быть None.

already_has_special_tokens : Указывает, уже ли последовательность отформатирована со специальными токенами.

**Возвращаемое значение:** список целых чисел в диапазоне [0, 1]

1 для специального токена, 0 для токена последовательности.

Получить идентификаторы последовательностей из списка токенов, в который не добавлены специальные токены.

Для быстрых токенизаторов коллабораторы данных вызывают этот метод с `already_has_special_tokens=True`, чтобы построить маску для уже отформатированной последовательности. В этом случае маска вычисляется путём проверки принадлежности элементов `all_special_ids`.

#### update_post_processor[[transformers.CodeLlamaTokenizer.update_post_processor]]

```python
update_post_processor()
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_tokenizers.py#L628)

Обновляет базовый постпроцессор с использованием текущих `bos_token` и `eos_token`.

#### save_vocabulary[[transformers.CodeLlamaTokenizer.save_vocabulary]]

```python
save_vocabulary(save_directory: str, filename_prefix: str | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_tokenizers.py#L547)

## CodeLlamaTokenizerFast[[transformers.CodeLlamaTokenizer]]

#### transformers.CodeLlamaTokenizer[[transformers.CodeLlamaTokenizer]]

```python
transformers.CodeLlamaTokenizer(vocab: str | dict[str, int] | None = None, merges: str | list[str] | None = None, clean_up_tokenization_spaces = False, unk_token = '<unk>', bos_token = '<s>', eos_token = '</s>', prefix_token = '▁<PRE>', middle_token = '▁<MID>', suffix_token = '▁<SUF>', eot_token = '▁<EOT>', fill_token = '<FILL_ME>', additional_special_tokens = None, use_default_system_prompt: bool = False, add_prefix_space: bool | None = True, add_bos_token: bool = True, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/code_llama/tokenization_code_llama.py#L41)

**Параметры:**

clean_up_tokenization_spaces (`str`, *необязательный*, по умолчанию `False`) : Нужно ли очищать пробелы после декодирования. Очистка заключается в удалении возможных артефактов, таких как лишние пробелы.

unk_token (`str`, *необязательный*, по умолчанию `"<unk>"`) : Неизвестный токен. Токен, отсутствующий в словаре, не может быть преобразован в ID, вместо этого ему присваивается данный токен.

bos_token (`str`, *необязательный*, по умолчанию `"<s>"`) : Токен начала последовательности, использовавшийся во время предварительного обучения. Может использоваться в качестве токена классификатора последовательности.

eos_token (`str`, *необязательный*, по умолчанию `"</s>"`) : Токен конца последовательности.

prefix_token (`str`, *необязательный*, по умолчанию `"▁<PRE>"`) : Токен префикса, используемый для infilling.

middle_token (`str`, *необязательный*, по умолчанию `"▁<MID>"`) : Средний токен, используемый для infilling.

suffix_token (`str`, *необязательный*, по умолчанию `"▁<SUF>"`) : Токен суффикса, используемый для infilling.

eot_token (`str`, *необязательный*, по умолчанию `"▁<EOT>"`) : Токен конца текста, используемый для infilling.

fill_token (`str`, *необязательный*, по умолчанию `"<FILL_ME>"`) : Токен, используемый для разделения входных данных на префикс и суффикс.

additional_special_tokens (`list[str]`, *необязательный*) : Дополнительные специальные токены, используемые токенизатором.

add_bos_token (`bool`, *необязательный*, по умолчанию `True`) : Добавлять ли токен начала последовательности в начало последовательностей.

add_eos_token (`bool`, *необязательный*, по умолчанию `False`) : Добавлять ли токен конца последовательности в конец последовательностей.

use_default_system_prompt (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли системный промпт по умолчанию для Llama.

add_prefix_space (`bool`, *необязательный*) : Добавлять ли начальный пробел к входным данным. Это позволяет обрабатывать первое слово так же, как и любое другое.

vocab (`str`, `dict` или `list`, *необязательный*) : Пользовательский словарь. Если не указан, словарь загружается из vocab_file.

merges (`str` или `list`, *необязательный*) : Пользовательский список слияний. Если не указан, слияния загружаются из merges_file.

vocab_file (`str`, *необязательный*) : файл [SentencePiece](https://github.com/google/sentencepiece) (обычно с расширением .model), содержащий словарь, необходимый для создания токенизатора.

Создайте токенизатор Llama. Основан на байтовом уровне Byte-Pair-Encoding.

Здесь заметно используется ByteFallback и не выполняется нормализация.

```python
>>> from transformers import CodeLlamaTokenizer

>>> tokenizer = CodeLlamaTokenizer.from_pretrained("hf-internal-testing/llama-tokenizer")
>>> tokenizer.encode("Hello this is a test")
[1, 15043, 445, 338, 263, 1243]
```

Если вы хотите изменить `bos_token` или `eos_token`, убедитесь, что вы указали их при инициализации модели, либо вызовите `tokenizer.update_post_processor()`, чтобы убедиться, что постобработка выполняется корректно (иначе значения первого и последнего токена закодированной последовательности будут неверными). Для получения дополнительных сведений ознакомьтесь с документацией [post-processors] (https://huggingface.co/docs/tokenizers/api/post-processors).

Этот токенизатор наследуется от [PreTrainedTokenizerFast](/docs/transformers/v5.23.0/ru/main_classes/tokenizer#transformers.TokenizersBackend), который содержит большинство основных методов. За дополнительной информацией об этих методах пользователям следует обращаться к этому суперклассу. Конфигурация по умолчанию совпадает с конфигурацией [meta-llama/CodeLlama-7b-Instruct-hf](https://huggingface.co/meta-llama/CodeLlama-7b-Instruct-hf/blob/main/tokenizer_config.json), которая поддерживает заполнение промптов (prompt infilling).

#### set_infilling_processor[[transformers.CodeLlamaTokenizer.set_infilling_processor]]

```python
set_infilling_processor(reset, suffix_first = False, add_special_tokens = True)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/code_llama/tokenization_code_llama.py#L229)

Обновляет нормализатор, чтобы гарантировать соблюдение формата промпта для `infilling`. Формат infilling следующий: если suffix_first "  {suf}  {pre}", иначе: "  {pre} {suf} "

Если `reset` установлен в `True`, `normalizer` и `post_processor` возвращаются к стандартному поведению: нормализатор добавляет пробел-префикс, а `post_processor` добавляет `bos_token` к входному тексту.

