MatUserMTV commited on
Commit
8a1b96f
·
verified ·
1 Parent(s): c9ebe2f

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +46 -49
README.md CHANGED
@@ -1,3 +1,4 @@
 
1
  ---
2
  language:
3
  - ru
@@ -39,60 +40,56 @@ pipeline_tag: text-generation
39
  <label><input type="time="Сырой HTML</p>Стки не отлинарный текту:</label>
40
  <input type="Содержимое</p>
41
  <span itemprop="Пеблямогресладка: <label="Кон:</p>
42
- Да, это бред. Но обратите внимание: она знает теги <label>, <input>, <span> и атрибуты type="...">.
43
-
44
- Запрос: <|user|>Напиши HTML страницу с тегами h1, p<|assistant|><!DOCTYPE html><html><body>
45
- Ответ модели:
46
 
47
- html
 
 
48
  <h4 class="hint">
49
  <h2>This isFari
50
  <div class="world-modal">
51
  <p>
52
  <h3 id="card">
53
- Здесь видно, что она выучила структуру, помнит классы (world-modal, hint) и вкладывает теги.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
54
 
55
- 🏗️ Архитектура и обучение
56
- Параметр Значение
57
- Параметров 8,946,432
58
- Слоёв (n_layer) 6
59
- Голов внимания 8
60
- Размер hidden 320
61
- Контекст 512 токенов
62
- Токенизатор BPE, 4096 токенов
63
- Train Loss (финал) 0.86
64
- Железо Intel Xeon E5-2690 v4 (без GPU)
65
- Время ~1 час
66
- Данные 400 КБ чистого HTML + 86 КБ JS (Tycoon)
67
- 🧠 Почему она так делает? (Catastrophic Forgetting)
68
  В процессе обучения модель столкнулась с двумя датасетами:
69
-
70
- Чистый HTML (400 КБ) — простые страницы с <div>, <h1>, <p>.
71
-
72
- AI Tycoon (86 КБ) — сложный JS-код с регулярными выражениями (regex) и математикой.
73
-
74
- Из-за того, что модель слишком маленькая (8.9M), она не смогла разделить эти два домена. В результате:
75
-
76
- Если вы просите HTML — она выдает теги, но часто забывает их закрыть.
77
-
78
- Если вы просите JS — она выдает куски регулярных выражений (regex) из Tycoon.
79
-
80
- Loss 0.86 означает, что модель почти зазубрила датасет, но из-за нехватки параметров путается в логике.
81
-
82
- 🛠️ Как использовать (KoboldCPP)
83
- Из-за того, что модель обучена на специфическом формате, важно использовать "затравку" (priming):
84
-
85
- Скачайте model.gguf.
86
-
87
- Запустите в KoboldCPP.
88
-
89
- Context Size: 512
90
-
91
- Temperature: 0.1 – 0.2 (чтобы код был строгим).
92
-
93
- Stop Sequences: <|user|>, <|endoftext|>
94
-
95
- Промпт для теста:
96
-
97
- text
98
- <|user|>Напиши HTML страницу с тегами h1, p<|assistant|><!DOCTYPE html><html><body>
 
1
+
2
  ---
3
  language:
4
  - ru
 
40
  <label><input type="time="Сырой HTML</p>Стки не отлинарный текту:</label>
41
  <input type="Содержимое</p>
42
  <span itemprop="Пеблямогресладка: <label="Кон:</p>
43
+ ```
44
+ *Да, это бред. Но обратите внимание: она знает теги `<label>`, `<input>`, `<span>` и атрибуты `type="...">`.*
 
 
45
 
46
+ **Запрос:** `<|user|>Напиши HTML страницу с тегами h1, p<|assistant|><!DOCTYPE html><html><body>`
47
+ **Ответ модели:**
48
+ ```html
49
  <h4 class="hint">
50
  <h2>This isFari
51
  <div class="world-modal">
52
  <p>
53
  <h3 id="card">
54
+ ```
55
+ *Здесь видно, что она выучила структуру, помнит классы (`world-modal`, `hint`) и вкладывает теги.*
56
+
57
+ ## 🏗️ Архитектура и обучение
58
+
59
+ | Параметр | Значение |
60
+ |---|---|
61
+ | **Параметров** | 8,946,432 |
62
+ | **Слоёв (n_layer)** | 6 |
63
+ | **Голов внимания** | 8 |
64
+ | **Размер hidden** | 320 |
65
+ | **Контекст** | 512 токенов |
66
+ | **Токенизатор** | BPE, 4096 токенов |
67
+ | **Train Loss (финал)** | **0.86** |
68
+ | **Железо** | Intel Xeon E5-2690 v4 (без GPU) |
69
+ | **Время** | ~1 час |
70
+ | **Данные** | 400 КБ чистого HTML + 86 КБ JS (Tycoon) |
71
+
72
+ ## 🧠 Почему она так делает? (Catastrophic Forgetting)
73
 
 
 
 
 
 
 
 
 
 
 
 
 
 
74
  В процессе обучения модель столкнулась с двумя датасетами:
75
+ 1. **Чистый HTML** (400 КБ) — простые страницы с `<div>`, `<h1>`, `<p>`.
76
+ 2. **AI Tycoon** (86 КБ) — сложный JS-код с регулярными выражениями (regex) и математикой.
77
+
78
+ Из-за того, что модель **слишком маленькая** (8.9M), она не смогла разделить эти два домена. В результате:
79
+ * Если вы просите HTML — она выдает теги, но часто забывает их закрыть.
80
+ * Если вы просите JS — она выдает куски регулярных выражений (regex) из Tycoon.
81
+ * **Loss 0.86** означает, что модель почти зазубрила датасет, но из-за нехватки параметров путается в логике.
82
+
83
+ ## 🛠️ Как использовать (KoboldCPP)
84
+
85
+ Из-за того, что модель обучена на специфическом формате, **важно использовать "затравку" (priming)**:
86
+
87
+ 1. Скачайте `model.gguf`.
88
+ 2. Запустите в KoboldCPP.
89
+ 3. **Context Size:** 512
90
+ 4. **Temperature:** 0.1 – 0.2 (чтобы код был строгим).
91
+ 5. **Stop Sequences:** `<|user|>`, `<|endoftext|>`
92
+ 6. **Промпт для теста:**
93
+ ```text
94
+ <|user|>Напиши HTML страницу с тегами h1, p<|assistant|><!DOCTYPE html><html><body>
95
+ ```