-
以清洗過的維基百科及維基文庫重新訓練
-
Upload 6 files
訓練 tokenizer 增加 Python 程式碼資料集以及維基文庫,訓練時增加維基文庫。模型學會了古文、古詩詞的語法。
-
Upload 6 files
0.9.3 版(新增:tokenize 結果磁碟快取,避免重複從頭訓練時的耗時重算)
# 14. 大規模語料(數億句、數百億字元等級)逐句 tokenize 往往要數小時,
# 但只要「資料集組合(含 extra_datasets)+ chunk_size + tokenizer
# 內容」三者不變,build_chunks() 的輸出結果必然相同。新增
# _chunks_cache_key():以這三者算出 SHA-256 指紋(tokenizer 取其
# 序列化後的模型內容做 hash,而非僅看檔案路徑,確保 tokenizer 重新
# 訓練後即使路徑不變,舊快取也會因內容指紋不同而自動失效,不會誤讀
# 出用舊 vocab 編碼、卻對不上新 tokenizer 的錯誤資料)。build_chunks()
# 新增 cache_dir / use_cache 參數:若指紋對應的 .npy 快取檔已存在則
# 直接讀取回傳並跳過整段 tokenize;否則照常 tokenize,並在完成後將
# 結果寫入快取供下次使用。常見情境:同一份資料集反覆從頭訓練做除
# 錯、調整模型架構或超參數但資料不變時,可省去每次數小時的重複
# tokenize。MLX(train_model_mlx)與 PyTorch(train_model)兩條主
# 訓練路徑皆已接上此快取(快取目錄預設為 tokenizer_dir 下的
# chunks_cache 子目錄);build_replay_chunks() 因本身已有獨立的
# replay_cache_dir 快取機制,呼叫 build_chunks() 時明確關閉內建快取
# (use_cache=False),避免同一份資料在兩處各存一份造成磁碟空間浪
# 費。注意:快取檔為未壓縮的 int32 .npy 陣列,規模與原始 token 總量
# 成正比(例如 593 萬筆 × 2049 tokens 的設定下,單一快取檔約 48.6
# GB),啟用前請確認磁碟空間充足。
# 0.9.4 版(新增:--cache-clean 參數,獨立…
-
Upload 4 files