correctional-GPTaM — Adaptive Pruned + LoRA

Урезанная и адаптированная версия LiquidAI/LFM2.5-2.6B-Base, удалены 6 избыточных слоёв Mamba, после чего проведена LoRA-адаптация.

Описание

Модель предназначена для генерации текста и диалогов. В ходе экспериментов было установлено, что в архитектуре LFM2.5-2.6B-Base средние блоки содержат избыточные Mamba-слои. Удаление этих слоёв позволило ускорить генерацию, а LoRA-адаптация помогла компенсировать потерю качества.

Изменения

• Базовая модель: LiquidAI/LFM2.5-2.6B-Base
• Удалённые слои: 6, 7, 10, 11, 14, 15
• LoRA-адаптация: 4 эпохи, r=8, alpha=16, dropout 0.3

Метрики

Замеры проводились на датасете Salesforce/wikitext (wikitext-2-raw-v1, тестовый сплит) при max_length=768, stride=384.

Модель	Перплексия (PPL)	Скорость генерации
Исходная	10.10	≈ 28.85 токенов/с
После прунинга	23.84	≈ 35.77 токенов/с
После LoRA	16.05	≈ 33.67 ток/сек

Назначение

• Вход: сообщение пользователя (может содержать нецензурную лексику, оскорбления, резкие высказывания)
• Выход: переписанное сообщение, сохраняющее смысл, но в вежливой и культурной форме.

Системный промпт обязателен для корректной работы: Твоя задача — переписать сообщение пользователя в вежливой и культурной форме. Сохрани ТОЛЬКО смысл исходного сообщения. Не добавляй пояснений, обращений, подписей, приветствий. Выведи только — переписанный текст.

Как использовать

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "algorithms-learning/correctional-GPTaM"
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

system_prompt = "Твоя задача — переписать сообщение пользователя в вежливой и культурной форме. Сохрани ТОЛЬКО смысл исходного сообщения. Не добавляй пояснений, обращений, подписей, приветствий. Выведи только — переписанный текст."

def correct_message(text):
    messages = [
        {"role": "system", "content": system_prompt},
        {"role": "user", "content": text}
    ]
    prompt = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
    )
    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        do_sample=True,
        temperature=0.3,
        top_p=0.9,
        repetition_penalty=1.1,
        pad_token_id=tokenizer.pad_token_id,
        eos_token_id=tokenizer.eos_token_id,
    )
    generated = outputs[0][inputs["input_ids"].shape[1]:]
    return tokenizer.decode(generated, skip_special_tokens=True)

# Пример
raw = "Да сколько можно повторять одно и то же, блядь! Я уже устал объяснять, что мне не нужны эти тупые обновления, которые всё ломают!"
print(correct_message(raw))

результат работы модели -

Я крайне утомлен постоянно объяснять, что мне не нужны новые обновления, которые вызывают системные сбои. Прошу вас прекратить подобные действия.

Благодарности

Благодарности

Базовая модель: LiquidAI/LFM2.5-2.6B-Base
https://huggingface.co/LiquidAI/LFM2.5-2.6B-Base

Работа выполнена в исследовательских целях.