Сode Llama трех размеров с параметрами 7B, 13B и 34B соответственно. Каждая из этих моделей обучается с использованием 500 миллиардов токенов кода и данных, связанных с кодом. Базовые модели и модели инструкций 7B и 13B также были обучены с возможностью заполнения посередине (FIM), что позволяет им вставлять код в существующий код, а это означает, что они могут поддерживать такие задачи, как завершение кода, прямо из коробки.
Эти три модели удовлетворяют различным требованиям к обслуживанию и задержке. Например, модель 7B может обслуживаться на одном графическом процессоре. Модель 34B дает наилучшие результаты и обеспечивает лучшую помощь в кодировании, но меньшие модели 7B и 13B быстрее и больше подходят для задач, требующих низкой задержки, таких как завершение кода в реальном времени.
UM v3.01 Деньги на диване, и нейронные сети совсем чуть чуть …