mistral-openorca

Mistral OpenOrca is a 7 billion parameter model, fine-tuned on top of the Mistral 7B model using the OpenOrca dataset.

7b
Hızlı Kurulum (Ollama kuruluysa)
ollama run mistral-openorca

Ollama kurulu değil mi? ollama.com/download — Windows, macOS ve Linux için ücretsiz. İlk çalıştırmada model indirilir, sonrası tamamen çevrimdışıdır.

Varyantlar

Boyut büyüdükçe kalite artar, donanım ihtiyacı yükselir. Başlangıç için küçük varyantı deneyin.

EtiketBoyutBağlamGirdiKomut
latest 4.1GB 32K Text ollama run mistral-openorca:latest
7b 4.1GB 32K Text ollama run mistral-openorca:7b
7b-q2_K 3.1GB 32K Text ollama run mistral-openorca:7b-q2_K
7b-q3_K_S 3.2GB 32K Text ollama run mistral-openorca:7b-q3_K_S
7b-q3_K_M 3.5GB 32K Text ollama run mistral-openorca:7b-q3_K_M
7b-q3_K_L 3.8GB 32K Text ollama run mistral-openorca:7b-q3_K_L
7b-q4_0 4.1GB 32K Text ollama run mistral-openorca:7b-q4_0
7b-q4_1 4.6GB 32K Text ollama run mistral-openorca:7b-q4_1
7b-q4_K_S 4.1GB 32K Text ollama run mistral-openorca:7b-q4_K_S
7b-q4_K_M 4.4GB 32K Text ollama run mistral-openorca:7b-q4_K_M
7b-q5_0 5.0GB 32K Text ollama run mistral-openorca:7b-q5_0
7b-q5_1 5.4GB 32K Text ollama run mistral-openorca:7b-q5_1
7b-q5_K_S 5.0GB 32K Text ollama run mistral-openorca:7b-q5_K_S
7b-q5_K_M 5.1GB 32K Text ollama run mistral-openorca:7b-q5_K_M
7b-q6_K 5.9GB 32K Text ollama run mistral-openorca:7b-q6_K
7b-q8_0 7.7GB 32K Text ollama run mistral-openorca:7b-q8_0
7b-fp16 14GB 32K Text ollama run mistral-openorca:7b-fp16

Model Detayları ve Benchmarklar (kaynak: ollama.com)

Mistral OpenOrca is a 7 billion parameter model, fine-tuned on top of the Mistral 7B model using the OpenOrca dataset.

HuggingFace Leaderboard evals place this model as leader for all models smaller than 30B at the release time, outperforming all other 7B and 13B models.

Usage

CLI

ollama run mistral-openorca "Why is the sky blue?"

API

curl -X POST http://localhost:11434/api/generate -d '{
  "model": "mistral-openorca",
  "prompt": "Why is the sky blue?"
}'

More information