Space 1.08b erratum: panel reported separately from the verdict; card pin 46d3424d
Browse files- eksperyment_108b.py +1 -1
- experiment-108b.json +3 -3
- index.html +4 -4
eksperyment_108b.py
CHANGED
|
@@ -212,7 +212,7 @@ def render_data(packet):
|
|
| 212 |
'</div>',
|
| 213 |
'<h3>' + bi("Separate standard panel", "Osobny standardowy panel") + '</h3>',
|
| 214 |
'<p>' + bi(**panel["protocol"]) + '</p>',
|
| 215 |
-
'<p>' + bi("The panel below is not the registered reasoning/retention verdict. No confidence intervals, significance
|
| 216 |
'<div class="experiment-scroll" tabindex="0" role="region" aria-labelledby="experiment-panel-caption"><table class="experiment-table">',
|
| 217 |
'<caption id="experiment-panel-caption">' + bi("Standard panel · three measured checkpoints", "Standardowy panel · trzy zmierzone checkpointy") + '</caption><thead><tr><th scope="col">' + bi("Metric / identity", "Metryka / tożsamość") + '</th>',
|
| 218 |
]
|
|
|
|
| 212 |
'</div>',
|
| 213 |
'<h3>' + bi("Separate standard panel", "Osobny standardowy panel") + '</h3>',
|
| 214 |
'<p>' + bi(**panel["protocol"]) + '</p>',
|
| 215 |
+
'<p>' + bi("The panel below is not the registered reasoning/retention verdict. No confidence intervals, significance or composite score is computed from these values; the existing 100 S note remains limited to 1.00–1.07.", "Poniższy panel nie jest zarejestrowanym werdyktem rozumowania/retencji. Z tych wartości nie oblicza się przedziałów ufności, istotności ani wyniku łącznego; istniejąca nota 100 S nadal obejmuje tylko 1.00–1.07.") + '</p>',
|
| 216 |
'<div class="experiment-scroll" tabindex="0" role="region" aria-labelledby="experiment-panel-caption"><table class="experiment-table">',
|
| 217 |
'<caption id="experiment-panel-caption">' + bi("Standard panel · three measured checkpoints", "Standardowy panel · trzy zmierzone checkpointy") + '</caption><thead><tr><th scope="col">' + bi("Metric / identity", "Metryka / tożsamość") + '</th>',
|
| 218 |
]
|
experiment-108b.json
CHANGED
|
@@ -54,8 +54,8 @@
|
|
| 54 |
],
|
| 55 |
"panel": {
|
| 56 |
"protocol": {
|
| 57 |
-
"en": "This standard panel
|
| 58 |
-
"pl": "Ten standardowy panel
|
| 59 |
},
|
| 60 |
"package_sha256": "d88f35e612437173528d9a8aa6bc33e2112c361cc21b336e5b9c5ba8c536a397",
|
| 61 |
"calibration_sha256": "258256049b2540705301ee2900b757c77f489523487ab91ecc6d0eae3a4d325e",
|
|
@@ -64,7 +64,7 @@
|
|
| 64 |
},
|
| 65 |
"verdict": {
|
| 66 |
"source_sha256": "9c5e30c6554093049975bc0595441d8fb1bf14a0d85b7ead977a0973fd66b8e4",
|
| 67 |
-
"url": "https://huggingface.co/SlayerLab/Slayer1B-1.08b/blob/
|
| 68 |
"summary": {
|
| 69 |
"en": "The preregistered pass@1 run returned 0/363 for the released reference, the experimental arm and its control. It did not discriminate reasoning performance under this generation/output protocol, so the primary experimental question remains inconclusive. Bits per byte on the fixed Polish-retention sample increased for the experimental arm by 0.01088 (paired 95% CI [0.01027, 0.01150]) and decreased for the control by 0.00612 (delta -0.00612; CI [-0.00688, -0.00547]); both Holm-adjusted p=0.0002. Qualitative changes in selected outputs are exploratory, not evidence of improved reasoning accuracy. The experiment remains 1.08b, not a promoted 1.08 release.",
|
| 70 |
"pl": "W prerejestrowanym biegu pass@1 wydany punkt odniesienia, ramię eksperymentalne i kontrola uzyskały po 0/363. Ten protokół generacji/formatu odpowiedzi nie rozróżnił ich sprawności rozumowania, więc główne pytanie eksperymentu pozostaje nierozstrzygnięte. Miara bpb na stałej próbie polskich tekstów wzrosła w ramieniu eksperymentalnym o 0,01088 (parowany 95% CI [0,01027; 0,01150]), a w kontroli spadła o 0,00612 (delta -0,00612; CI [-0,00688; -0,00547]); w obu porównaniach p po poprawce Holma=0,0002. Jakościowe zmiany wybranych generacji są obserwacją eksploracyjną, nie dowodem poprawy trafności rozumowania. Eksperyment pozostaje 1.08b, nie awansuje na wydanie 1.08."
|
|
|
|
| 54 |
],
|
| 55 |
"panel": {
|
| 56 |
"protocol": {
|
| 57 |
+
"en": "This standard panel is reported separately from the held-out reasoning/Polish-retention verdict. The method note pre-registered guards on this panel (written for the planned run with learning-rate decay; the actual run used a constant rate); by those guards both arms regressed. Accuracies are percentages; WikiText-2 token and byte perplexity are two units from the same sample, not independent extra evidence. Model and evaluation-source identities are listed below.",
|
| 58 |
+
"pl": "Ten standardowy panel podano osobno od werdyktu na odłożonych zadaniach rozumowania i retencji polszczyzny. Notatka metody zawierała wcześniej zapisane progi dla tego panelu (pisane pod planowany bieg z wygaszaniem learning rate; faktyczny bieg miał stały); według tych progów oba ramiona się pogorszyły. Trafności podano w procentach; perpleksja WikiText-2 na token i na bajt to dwie jednostki z tej samej próby, nie dodatkowe niezależne dowody. Poniżej podano tożsamości modeli i źródeł ewaluacji."
|
| 59 |
},
|
| 60 |
"package_sha256": "d88f35e612437173528d9a8aa6bc33e2112c361cc21b336e5b9c5ba8c536a397",
|
| 61 |
"calibration_sha256": "258256049b2540705301ee2900b757c77f489523487ab91ecc6d0eae3a4d325e",
|
|
|
|
| 64 |
},
|
| 65 |
"verdict": {
|
| 66 |
"source_sha256": "9c5e30c6554093049975bc0595441d8fb1bf14a0d85b7ead977a0973fd66b8e4",
|
| 67 |
+
"url": "https://huggingface.co/SlayerLab/Slayer1B-1.08b/blob/46d3424d80e6dda222eb0a9e988daed1b5c2cbff/README.md#evaluation",
|
| 68 |
"summary": {
|
| 69 |
"en": "The preregistered pass@1 run returned 0/363 for the released reference, the experimental arm and its control. It did not discriminate reasoning performance under this generation/output protocol, so the primary experimental question remains inconclusive. Bits per byte on the fixed Polish-retention sample increased for the experimental arm by 0.01088 (paired 95% CI [0.01027, 0.01150]) and decreased for the control by 0.00612 (delta -0.00612; CI [-0.00688, -0.00547]); both Holm-adjusted p=0.0002. Qualitative changes in selected outputs are exploratory, not evidence of improved reasoning accuracy. The experiment remains 1.08b, not a promoted 1.08 release.",
|
| 70 |
"pl": "W prerejestrowanym biegu pass@1 wydany punkt odniesienia, ramię eksperymentalne i kontrola uzyskały po 0/363. Ten protokół generacji/formatu odpowiedzi nie rozróżnił ich sprawności rozumowania, więc główne pytanie eksperymentu pozostaje nierozstrzygnięte. Miara bpb na stałej próbie polskich tekstów wzrosła w ramieniu eksperymentalnym o 0,01088 (parowany 95% CI [0,01027; 0,01150]), a w kontroli spadła o 0,00612 (delta -0,00612; CI [-0,00688; -0,00547]); w obu porównaniach p po poprawce Holma=0,0002. Jakościowe zmiany wybranych generacji są obserwacją eksploracyjną, nie dowodem poprawy trafności rozumowania. Eksperyment pozostaje 1.08b, nie awansuje na wydanie 1.08."
|
index.html
CHANGED
|
@@ -594,14 +594,14 @@ button.chart-legend-item { max-width: 100%; min-width: 0; padding: .35rem .5rem;
|
|
| 594 |
<p><span class="l-en" lang="en">1.07 remains the released reference. These measured experimental endpoints do not announce a weights release or change the release catalogue or historical diagnostic note.</span><span class="l-pl" lang="pl">1.07 pozostaje wydanym punktem odniesienia. Zmierzone końce eksperymentu nie ogłaszają wydania wag ani nie zmieniają katalogu wydań czy historycznej noty diagnostycznej.</span></p>
|
| 595 |
<div class="experiment-verdict"><h3><span class="l-en" lang="en">Registered pass@1 / Polish-retention verdict</span><span class="l-pl" lang="pl">Zarejestrowany werdykt pass@1 / retencji polszczyzny</span></h3>
|
| 596 |
<p><span class="l-en" lang="en">The preregistered pass@1 run returned 0/363 for the released reference, the experimental arm and its control. It did not discriminate reasoning performance under this generation/output protocol, so the primary experimental question remains inconclusive. Bits per byte on the fixed Polish-retention sample increased for the experimental arm by 0.01088 (paired 95% CI [0.01027, 0.01150]) and decreased for the control by 0.00612 (delta -0.00612; CI [-0.00688, -0.00547]); both Holm-adjusted p=0.0002. Qualitative changes in selected outputs are exploratory, not evidence of improved reasoning accuracy. The experiment remains 1.08b, not a promoted 1.08 release.</span><span class="l-pl" lang="pl">W prerejestrowanym biegu pass@1 wydany punkt odniesienia, ramię eksperymentalne i kontrola uzyskały po 0/363. Ten protokół generacji/formatu odpowiedzi nie rozróżnił ich sprawności rozumowania, więc główne pytanie eksperymentu pozostaje nierozstrzygnięte. Miara bpb na stałej próbie polskich tekstów wzrosła w ramieniu eksperymentalnym o 0,01088 (parowany 95% CI [0,01027; 0,01150]), a w kontroli spadła o 0,00612 (delta -0,00612; CI [-0,00688; -0,00547]); w obu porównaniach p po poprawce Holma=0,0002. Jakościowe zmiany wybranych generacji są obserwacją eksploracyjną, nie dowodem poprawy trafności rozumowania. Eksperyment pozostaje 1.08b, nie awansuje na wydanie 1.08.</span></p>
|
| 597 |
-
<p><a href="https://huggingface.co/SlayerLab/Slayer1B-1.08b/blob/
|
| 598 |
<p><span class="l-en" lang="en">Verdict provenance only: generator 0.1.25; scorer 0.1.19; n_clean = 363. This is not the standard-panel sample size.</span><span class="l-pl" lang="pl">Wyłącznie pochodzenie werdyktu: generator 0.1.25; scorer 0.1.19; n_clean = 363. Nie jest to liczebność próby standardowego panelu.</span></p>
|
| 599 |
<p class="note-hash"><span class="l-en" lang="en">Verdict source SHA-256</span><span class="l-pl" lang="pl">SHA-256 źródła werdyktu</span>: <code>9c5e30c6554093049975bc0595441d8fb1bf14a0d85b7ead977a0973fd66b8e4</code></p>
|
| 600 |
<p class="note-hash"><span class="l-en" lang="en">Verdict exclusions SHA-256</span><span class="l-pl" lang="pl">SHA-256 wykluczeń werdyktu</span>: <code>ce8de32783296c469213860a2340b44e2d7eea62f9c56171b07d6edcbf2a2c48</code></p>
|
| 601 |
</div>
|
| 602 |
<h3><span class="l-en" lang="en">Separate standard panel</span><span class="l-pl" lang="pl">Osobny standardowy panel</span></h3>
|
| 603 |
-
<p><span class="l-en" lang="en">This standard panel
|
| 604 |
-
<p><span class="l-en" lang="en">The panel below is not the registered reasoning/retention verdict. No confidence intervals, significance
|
| 605 |
<div class="experiment-scroll" tabindex="0" role="region" aria-labelledby="experiment-panel-caption"><table class="experiment-table">
|
| 606 |
<caption id="experiment-panel-caption"><span class="l-en" lang="en">Standard panel · three measured checkpoints</span><span class="l-pl" lang="pl">Standardowy panel · trzy zmierzone checkpointy</span></caption><thead><tr><th scope="col"><span class="l-en" lang="en">Metric / identity</span><span class="l-pl" lang="pl">Metryka / tożsamość</span></th>
|
| 607 |
<th scope="col">1.07<br><span class="l-en" lang="en">Released reference</span><span class="l-pl" lang="pl">Wydany punkt odniesienia</span></th>
|
|
@@ -630,7 +630,7 @@ button.chart-legend-item { max-width: 100%; min-width: 0; padding: .35rem .5rem;
|
|
| 630 |
<p class="note-hash"><span class="l-en" lang="en">Historical baseline CSV SHA-256</span><span class="l-pl" lang="pl">SHA-256 historycznego CSV odniesienia</span>: <code>563476ee1789490361811a25a5c3b48122d6d9fc93a78abbd57b4fc8ffb27d75</code></p>
|
| 631 |
<p class="note-hash"><span class="l-en" lang="en">Panel receipt (both arms) SHA-256</span><span class="l-pl" lang="pl">SHA-256 potwierdzenia panelu (oba ramiona)</span>: <code>114ee903a42a68f753e6991f33231724f61bf70b61f9c5e825472424ba3f7652</code></p>
|
| 632 |
</details><p><a href="experiment-108b.json" download><span class="l-en" lang="en">Download the approved experiment packet (JSON)</span><span class="l-pl" lang="pl">Pobierz zatwierdzony pakiet eksperymentu (JSON)</span></a></p>
|
| 633 |
-
<script type="application/json" id="experiment-results-data">{"cohort":"slayer1b-1.08b","models":[{"link":"https://huggingface.co/SlayerLab/Slayer1B-1.07","metrics":{"arc_easy":58.67,"arc_easy_pl":46.93,"blimp":77.9,"multiblimp_pl":98.84,"wikitext2_byte_ppl":2.1837,"wikitext2_token_ppl":24.922},"model_sha256":"d826b4a11bf4eaccee10fe43ec19a4f6d515dfc5f3e5c859adb631f1a0b76ad5","role":"reference","step":22327,"tokens":23411556352,"version":"1.07"},{"link":"https://track.fabryka.ai/run/751dff2d-d5a2-5f51-b458-0afffb35abe0","metrics":{"arc_easy":52.1,"arc_easy_pl":46.17,"blimp":74.64,"multiblimp_pl":98.23,"wikitext2_byte_ppl":2.298727335658238,"wikitext2_token_ppl":30.787890017940573},"model_sha256":"1aba402e179e1f6426a1d624c760820d7f4fb56ca2d99e0b730d4157e99a3bf4","role":"experiment","step":23073,"tokens":24193794048,"version":"1.08b"},{"link":"https://track.fabryka.ai/run/fa2a3d80-5bfc-5732-8294-0c78cd442c88","metrics":{"arc_easy":52.06,"arc_easy_pl":45.92,"blimp":74.44,"multiblimp_pl":98.59,"wikitext2_byte_ppl":2.2633602881226778,"wikitext2_token_ppl":28.88380914095315},"model_sha256":"22fe5067f041ac85d3015c3dde4a38dc4f6c91d7ffb58a57ad556ef14d0767d9","role":"control","step":23073,"tokens":24193794048,"version":"1.08b-control"}],"panel":{"baseline_csv_sha256":"563476ee1789490361811a25a5c3b48122d6d9fc93a78abbd57b4fc8ffb27d75","calibration_sha256":"258256049b2540705301ee2900b757c77f489523487ab91ecc6d0eae3a4d325e","package_sha256":"d88f35e612437173528d9a8aa6bc33e2112c361cc21b336e5b9c5ba8c536a397","protocol":{"en":"This standard panel
|
| 634 |
</section>
|
| 635 |
<!-- experiment:data:end -->
|
| 636 |
<section id="diagnostic-note" class="section diagnostic-note" aria-labelledby="note-heading">
|
|
|
|
| 594 |
<p><span class="l-en" lang="en">1.07 remains the released reference. These measured experimental endpoints do not announce a weights release or change the release catalogue or historical diagnostic note.</span><span class="l-pl" lang="pl">1.07 pozostaje wydanym punktem odniesienia. Zmierzone końce eksperymentu nie ogłaszają wydania wag ani nie zmieniają katalogu wydań czy historycznej noty diagnostycznej.</span></p>
|
| 595 |
<div class="experiment-verdict"><h3><span class="l-en" lang="en">Registered pass@1 / Polish-retention verdict</span><span class="l-pl" lang="pl">Zarejestrowany werdykt pass@1 / retencji polszczyzny</span></h3>
|
| 596 |
<p><span class="l-en" lang="en">The preregistered pass@1 run returned 0/363 for the released reference, the experimental arm and its control. It did not discriminate reasoning performance under this generation/output protocol, so the primary experimental question remains inconclusive. Bits per byte on the fixed Polish-retention sample increased for the experimental arm by 0.01088 (paired 95% CI [0.01027, 0.01150]) and decreased for the control by 0.00612 (delta -0.00612; CI [-0.00688, -0.00547]); both Holm-adjusted p=0.0002. Qualitative changes in selected outputs are exploratory, not evidence of improved reasoning accuracy. The experiment remains 1.08b, not a promoted 1.08 release.</span><span class="l-pl" lang="pl">W prerejestrowanym biegu pass@1 wydany punkt odniesienia, ramię eksperymentalne i kontrola uzyskały po 0/363. Ten protokół generacji/formatu odpowiedzi nie rozróżnił ich sprawności rozumowania, więc główne pytanie eksperymentu pozostaje nierozstrzygnięte. Miara bpb na stałej próbie polskich tekstów wzrosła w ramieniu eksperymentalnym o 0,01088 (parowany 95% CI [0,01027; 0,01150]), a w kontroli spadła o 0,00612 (delta -0,00612; CI [-0,00688; -0,00547]); w obu porównaniach p po poprawce Holma=0,0002. Jakościowe zmiany wybranych generacji są obserwacją eksploracyjną, nie dowodem poprawy trafności rozumowania. Eksperyment pozostaje 1.08b, nie awansuje na wydanie 1.08.</span></p>
|
| 597 |
+
<p><a href="https://huggingface.co/SlayerLab/Slayer1B-1.08b/blob/46d3424d80e6dda222eb0a9e988daed1b5c2cbff/README.md#evaluation"><span class="l-en" lang="en">Approved public verdict source</span><span class="l-pl" lang="pl">Zatwierdzone publiczne źródło werdyktu</span></a></p>
|
| 598 |
<p><span class="l-en" lang="en">Verdict provenance only: generator 0.1.25; scorer 0.1.19; n_clean = 363. This is not the standard-panel sample size.</span><span class="l-pl" lang="pl">Wyłącznie pochodzenie werdyktu: generator 0.1.25; scorer 0.1.19; n_clean = 363. Nie jest to liczebność próby standardowego panelu.</span></p>
|
| 599 |
<p class="note-hash"><span class="l-en" lang="en">Verdict source SHA-256</span><span class="l-pl" lang="pl">SHA-256 źródła werdyktu</span>: <code>9c5e30c6554093049975bc0595441d8fb1bf14a0d85b7ead977a0973fd66b8e4</code></p>
|
| 600 |
<p class="note-hash"><span class="l-en" lang="en">Verdict exclusions SHA-256</span><span class="l-pl" lang="pl">SHA-256 wykluczeń werdyktu</span>: <code>ce8de32783296c469213860a2340b44e2d7eea62f9c56171b07d6edcbf2a2c48</code></p>
|
| 601 |
</div>
|
| 602 |
<h3><span class="l-en" lang="en">Separate standard panel</span><span class="l-pl" lang="pl">Osobny standardowy panel</span></h3>
|
| 603 |
+
<p><span class="l-en" lang="en">This standard panel is reported separately from the held-out reasoning/Polish-retention verdict. The method note pre-registered guards on this panel (written for the planned run with learning-rate decay; the actual run used a constant rate); by those guards both arms regressed. Accuracies are percentages; WikiText-2 token and byte perplexity are two units from the same sample, not independent extra evidence. Model and evaluation-source identities are listed below.</span><span class="l-pl" lang="pl">Ten standardowy panel podano osobno od werdyktu na odłożonych zadaniach rozumowania i retencji polszczyzny. Notatka metody zawierała wcześniej zapisane progi dla tego panelu (pisane pod planowany bieg z wygaszaniem learning rate; faktyczny bieg miał stały); według tych progów oba ramiona się pogorszyły. Trafności podano w procentach; perpleksja WikiText-2 na token i na bajt to dwie jednostki z tej samej próby, nie dodatkowe niezależne dowody. Poniżej podano tożsamości modeli i źródeł ewaluacji.</span></p>
|
| 604 |
+
<p><span class="l-en" lang="en">The panel below is not the registered reasoning/retention verdict. No confidence intervals, significance or composite score is computed from these values; the existing 100 S note remains limited to 1.00–1.07.</span><span class="l-pl" lang="pl">Poniższy panel nie jest zarejestrowanym werdyktem rozumowania/retencji. Z tych wartości nie oblicza się przedziałów ufności, istotności ani wyniku łącznego; istniejąca nota 100 S nadal obejmuje tylko 1.00–1.07.</span></p>
|
| 605 |
<div class="experiment-scroll" tabindex="0" role="region" aria-labelledby="experiment-panel-caption"><table class="experiment-table">
|
| 606 |
<caption id="experiment-panel-caption"><span class="l-en" lang="en">Standard panel · three measured checkpoints</span><span class="l-pl" lang="pl">Standardowy panel · trzy zmierzone checkpointy</span></caption><thead><tr><th scope="col"><span class="l-en" lang="en">Metric / identity</span><span class="l-pl" lang="pl">Metryka / tożsamość</span></th>
|
| 607 |
<th scope="col">1.07<br><span class="l-en" lang="en">Released reference</span><span class="l-pl" lang="pl">Wydany punkt odniesienia</span></th>
|
|
|
|
| 630 |
<p class="note-hash"><span class="l-en" lang="en">Historical baseline CSV SHA-256</span><span class="l-pl" lang="pl">SHA-256 historycznego CSV odniesienia</span>: <code>563476ee1789490361811a25a5c3b48122d6d9fc93a78abbd57b4fc8ffb27d75</code></p>
|
| 631 |
<p class="note-hash"><span class="l-en" lang="en">Panel receipt (both arms) SHA-256</span><span class="l-pl" lang="pl">SHA-256 potwierdzenia panelu (oba ramiona)</span>: <code>114ee903a42a68f753e6991f33231724f61bf70b61f9c5e825472424ba3f7652</code></p>
|
| 632 |
</details><p><a href="experiment-108b.json" download><span class="l-en" lang="en">Download the approved experiment packet (JSON)</span><span class="l-pl" lang="pl">Pobierz zatwierdzony pakiet eksperymentu (JSON)</span></a></p>
|
| 633 |
+
<script type="application/json" id="experiment-results-data">{"cohort":"slayer1b-1.08b","models":[{"link":"https://huggingface.co/SlayerLab/Slayer1B-1.07","metrics":{"arc_easy":58.67,"arc_easy_pl":46.93,"blimp":77.9,"multiblimp_pl":98.84,"wikitext2_byte_ppl":2.1837,"wikitext2_token_ppl":24.922},"model_sha256":"d826b4a11bf4eaccee10fe43ec19a4f6d515dfc5f3e5c859adb631f1a0b76ad5","role":"reference","step":22327,"tokens":23411556352,"version":"1.07"},{"link":"https://track.fabryka.ai/run/751dff2d-d5a2-5f51-b458-0afffb35abe0","metrics":{"arc_easy":52.1,"arc_easy_pl":46.17,"blimp":74.64,"multiblimp_pl":98.23,"wikitext2_byte_ppl":2.298727335658238,"wikitext2_token_ppl":30.787890017940573},"model_sha256":"1aba402e179e1f6426a1d624c760820d7f4fb56ca2d99e0b730d4157e99a3bf4","role":"experiment","step":23073,"tokens":24193794048,"version":"1.08b"},{"link":"https://track.fabryka.ai/run/fa2a3d80-5bfc-5732-8294-0c78cd442c88","metrics":{"arc_easy":52.06,"arc_easy_pl":45.92,"blimp":74.44,"multiblimp_pl":98.59,"wikitext2_byte_ppl":2.2633602881226778,"wikitext2_token_ppl":28.88380914095315},"model_sha256":"22fe5067f041ac85d3015c3dde4a38dc4f6c91d7ffb58a57ad556ef14d0767d9","role":"control","step":23073,"tokens":24193794048,"version":"1.08b-control"}],"panel":{"baseline_csv_sha256":"563476ee1789490361811a25a5c3b48122d6d9fc93a78abbd57b4fc8ffb27d75","calibration_sha256":"258256049b2540705301ee2900b757c77f489523487ab91ecc6d0eae3a4d325e","package_sha256":"d88f35e612437173528d9a8aa6bc33e2112c361cc21b336e5b9c5ba8c536a397","protocol":{"en":"This standard panel is reported separately from the held-out reasoning/Polish-retention verdict. The method note pre-registered guards on this panel (written for the planned run with learning-rate decay; the actual run used a constant rate); by those guards both arms regressed. Accuracies are percentages; WikiText-2 token and byte perplexity are two units from the same sample, not independent extra evidence. Model and evaluation-source identities are listed below.","pl":"Ten standardowy panel podano osobno od werdyktu na odłożonych zadaniach rozumowania i retencji polszczyzny. Notatka metody zawierała wcześniej zapisane progi dla tego panelu (pisane pod planowany bieg z wygaszaniem learning rate; faktyczny bieg miał stały); według tych progów oba ramiona się pogorszyły. Trafności podano w procentach; perpleksja WikiText-2 na token i na bajt to dwie jednostki z tej samej próby, nie dodatkowe niezależne dowody. Poniżej podano tożsamości modeli i źródeł ewaluacji."},"receipt_sha256":"114ee903a42a68f753e6991f33231724f61bf70b61f9c5e825472424ba3f7652"},"publication_state":"measured_after_verdict","schema_version":1,"verdict":{"exclude_sha256":"ce8de32783296c469213860a2340b44e2d7eea62f9c56171b07d6edcbf2a2c48","generator_version":"0.1.25","n_clean":363,"scorer_version":"0.1.19","source_sha256":"9c5e30c6554093049975bc0595441d8fb1bf14a0d85b7ead977a0973fd66b8e4","summary":{"en":"The preregistered pass@1 run returned 0/363 for the released reference, the experimental arm and its control. It did not discriminate reasoning performance under this generation/output protocol, so the primary experimental question remains inconclusive. Bits per byte on the fixed Polish-retention sample increased for the experimental arm by 0.01088 (paired 95% CI [0.01027, 0.01150]) and decreased for the control by 0.00612 (delta -0.00612; CI [-0.00688, -0.00547]); both Holm-adjusted p=0.0002. Qualitative changes in selected outputs are exploratory, not evidence of improved reasoning accuracy. The experiment remains 1.08b, not a promoted 1.08 release.","pl":"W prerejestrowanym biegu pass@1 wydany punkt odniesienia, ramię eksperymentalne i kontrola uzyskały po 0/363. Ten protokół generacji/formatu odpowiedzi nie rozróżnił ich sprawności rozumowania, więc główne pytanie eksperymentu pozostaje nierozstrzygnięte. Miara bpb na stałej próbie polskich tekstów wzrosła w ramieniu eksperymentalnym o 0,01088 (parowany 95% CI [0,01027; 0,01150]), a w kontroli spadła o 0,00612 (delta -0,00612; CI [-0,00688; -0,00547]); w obu porównaniach p po poprawce Holma=0,0002. Jakościowe zmiany wybranych generacji są obserwacją eksploracyjną, nie dowodem poprawy trafności rozumowania. Eksperyment pozostaje 1.08b, nie awansuje na wydanie 1.08."},"url":"https://huggingface.co/SlayerLab/Slayer1B-1.08b/blob/46d3424d80e6dda222eb0a9e988daed1b5c2cbff/README.md#evaluation"}}</script>
|
| 634 |
</section>
|
| 635 |
<!-- experiment:data:end -->
|
| 636 |
<section id="diagnostic-note" class="section diagnostic-note" aria-labelledby="note-heading">
|