megadolphin

MegaDolphin-2.2-120b is a transformation of Dolphin-2.2-70b created by interleaving the model with itself.

120b
Hızlı Kurulum (Ollama kuruluysa)
ollama run megadolphin

Ollama kurulu değil mi? ollama.com/download — Windows, macOS ve Linux için ücretsiz. İlk çalıştırmada model indirilir, sonrası tamamen çevrimdışıdır.

Varyantlar

Boyut büyüdükçe kalite artar, donanım ihtiyacı yükselir. Başlangıç için küçük varyantı deneyin.

EtiketBoyutBağlamGirdiKomut
latest 68GB 4K Text ollama run megadolphin:latest
v2.2 68GB 4K Text ollama run megadolphin:v2.2
120b 68GB 4K Text ollama run megadolphin:120b
120b-v2.2 68GB 4K Text ollama run megadolphin:120b-v2.2
120b-v2.2-q2_K 51GB 4K Text ollama run megadolphin:120b-v2.2-q2_K
120b-v2.2-q3_K_S 52GB 4K Text ollama run megadolphin:120b-v2.2-q3_K_S
120b-v2.2-q3_K_M 58GB 4K Text ollama run megadolphin:120b-v2.2-q3_K_M
120b-v2.2-q3_K_L 63GB 4K Text ollama run megadolphin:120b-v2.2-q3_K_L
120b-v2.2-q4_0 68GB 4K Text ollama run megadolphin:120b-v2.2-q4_0
120b-v2.2-q4_1 75GB 4K Text ollama run megadolphin:120b-v2.2-q4_1
120b-v2.2-q4_K_S 68GB 4K Text ollama run megadolphin:120b-v2.2-q4_K_S
120b-v2.2-q4_K_M 72GB 4K Text ollama run megadolphin:120b-v2.2-q4_K_M
120b-v2.2-q5_0 83GB 4K Text ollama run megadolphin:120b-v2.2-q5_0
120b-v2.2-q5_1 90GB 4K Text ollama run megadolphin:120b-v2.2-q5_1
120b-v2.2-q5_K_S 83GB 4K Text ollama run megadolphin:120b-v2.2-q5_K_S
120b-v2.2-q5_K_M 85GB 4K Text ollama run megadolphin:120b-v2.2-q5_K_M
120b-v2.2-q6_K 99GB 4K Text ollama run megadolphin:120b-v2.2-q6_K
120b-v2.2-q8_0 128GB 4K Text ollama run megadolphin:120b-v2.2-q8_0
120b-v2.2-fp16 241GB 4K Text ollama run megadolphin:120b-v2.2-fp16

Model Detayları ve Benchmarklar (kaynak: ollama.com)

MegaDolphin-120b was inspired by the amazing Goliath and Venus models. This model was created using a method of interleaving a model with itself.

References

Hugging Face