tinydolphin

An experimental 1.1B parameter model trained on the new Dolphin 2.8 dataset by Eric Hartford and based on TinyLlama.

1.1b
Hızlı Kurulum (Ollama kuruluysa)
ollama run tinydolphin

Ollama kurulu değil mi? ollama.com/download — Windows, macOS ve Linux için ücretsiz. İlk çalıştırmada model indirilir, sonrası tamamen çevrimdışıdır.

Varyantlar

Boyut büyüdükçe kalite artar, donanım ihtiyacı yükselir. Başlangıç için küçük varyantı deneyin.

EtiketBoyutBağlamGirdiKomut
latest 637MB 4K Text ollama run tinydolphin:latest
v2.8 637MB 4K Text ollama run tinydolphin:v2.8
1.1b 637MB 4K Text ollama run tinydolphin:1.1b
1.1b-v2.8-q2_K 432MB 4K Text ollama run tinydolphin:1.1b-v2.8-q2_K
1.1b-v2.8-q3_K_S 499MB 4K Text ollama run tinydolphin:1.1b-v2.8-q3_K_S
1.1b-v2.8-q3_K_M 548MB 4K Text ollama run tinydolphin:1.1b-v2.8-q3_K_M
1.1b-v2.8-q3_K_L 592MB 4K Text ollama run tinydolphin:1.1b-v2.8-q3_K_L
1.1b-v2.8-q4_0 637MB 4K Text ollama run tinydolphin:1.1b-v2.8-q4_0
1.1b-v2.8-q4_1 701MB 4K Text ollama run tinydolphin:1.1b-v2.8-q4_1
1.1b-v2.8-q4_K_S 640MB 4K Text ollama run tinydolphin:1.1b-v2.8-q4_K_S
1.1b-v2.8-q4_K_M 668MB 4K Text ollama run tinydolphin:1.1b-v2.8-q4_K_M
1.1b-v2.8-q5_0 766MB 4K Text ollama run tinydolphin:1.1b-v2.8-q5_0
1.1b-v2.8-q5_1 831MB 4K Text ollama run tinydolphin:1.1b-v2.8-q5_1
1.1b-v2.8-q5_K_S 766MB 4K Text ollama run tinydolphin:1.1b-v2.8-q5_K_S
1.1b-v2.8-q5_K_M 782MB 4K Text ollama run tinydolphin:1.1b-v2.8-q5_K_M
1.1b-v2.8-q6_K 903MB 4K Text ollama run tinydolphin:1.1b-v2.8-q6_K
1.1b-v2.8-q8_0 1.2GB 4K Text ollama run tinydolphin:1.1b-v2.8-q8_0
1.1b-v2.8-fp16 2.2GB 4K Text ollama run tinydolphin:1.1b-v2.8-fp16

Model Detayları ve Benchmarklar (kaynak: ollama.com)

TinyDolphin is an experimental model from training the TinyLlama model on the popular Dolphin dataset by Eric Hartford.

Reference

Hugging Face