This model is a fine-tuned version of Mixtral using a high-quality, curated dataset. As of Dec 26th 2023, this model is the top ranked MoE (Mixture of Experts) model on the Hugging Face Open LLM Leaderboard.
notux
A top-performing mixture of experts model, fine-tuned with high-quality data.
8x7b
Hızlı Kurulum (Ollama kuruluysa)
ollama run notux
Ollama kurulu değil mi? ollama.com/download — Windows, macOS ve Linux için ücretsiz. İlk çalıştırmada model indirilir, sonrası tamamen çevrimdışıdır.
Varyantlar
Boyut büyüdükçe kalite artar, donanım ihtiyacı yükselir. Başlangıç için küçük varyantı deneyin.
| Etiket | Boyut | Bağlam | Girdi | Komut |
|---|---|---|---|---|
| latest | 26GB | 32K | Text |
ollama run notux:latest
|
| 8x7b | 26GB | 32K | Text |
ollama run notux:8x7b
|
| 8x7b-v1 | 26GB | 32K | Text |
ollama run notux:8x7b-v1
|
| 8x7b-v1-q2_K | 16GB | 32K | Text |
ollama run notux:8x7b-v1-q2_K
|
| 8x7b-v1-q3_K_S | 20GB | 32K | Text |
ollama run notux:8x7b-v1-q3_K_S
|
| 8x7b-v1-q3_K_M | 20GB | 32K | Text |
ollama run notux:8x7b-v1-q3_K_M
|
| 8x7b-v1-q3_K_L | 20GB | 32K | Text |
ollama run notux:8x7b-v1-q3_K_L
|
| 8x7b-v1-q4_0 | 26GB | 32K | Text |
ollama run notux:8x7b-v1-q4_0
|
| 8x7b-v1-q4_1 | 29GB | 32K | Text |
ollama run notux:8x7b-v1-q4_1
|
| 8x7b-v1-q4_K_S | 26GB | 32K | Text |
ollama run notux:8x7b-v1-q4_K_S
|
| 8x7b-v1-q4_K_M | 26GB | 32K | Text |
ollama run notux:8x7b-v1-q4_K_M
|
| 8x7b-v1-q5_0 | 32GB | 32K | Text |
ollama run notux:8x7b-v1-q5_0
|
| 8x7b-v1-q5_1 | 35GB | 32K | Text |
ollama run notux:8x7b-v1-q5_1
|
| 8x7b-v1-q5_K_S | 32GB | 32K | Text |
ollama run notux:8x7b-v1-q5_K_S
|
| 8x7b-v1-q5_K_M | 32GB | 32K | Text |
ollama run notux:8x7b-v1-q5_K_M
|
| 8x7b-v1-q6_K | 38GB | 32K | Text |
ollama run notux:8x7b-v1-q6_K
|
| 8x7b-v1-q8_0 | 50GB | 32K | Text |
ollama run notux:8x7b-v1-q8_0
|
| 8x7b-v1-fp16 | 93GB | 32K | Text |
ollama run notux:8x7b-v1-fp16
|