llama3-chatqa

A model from NVIDIA based on Llama 3 that excels at conversational question answering (QA) and retrieval-augmented generation (RAG).

8b 70b
Hızlı Kurulum (Ollama kuruluysa)
ollama run llama3-chatqa

Ollama kurulu değil mi? ollama.com/download — Windows, macOS ve Linux için ücretsiz. İlk çalıştırmada model indirilir, sonrası tamamen çevrimdışıdır.

Varyantlar

Boyut büyüdükçe kalite artar, donanım ihtiyacı yükselir. Başlangıç için küçük varyantı deneyin.

EtiketBoyutBağlamGirdiKomut
latest 4.7GB 8K Text ollama run llama3-chatqa:latest
8b 4.7GB 8K Text ollama run llama3-chatqa:8b
70b 40GB 8K Text ollama run llama3-chatqa:70b
8b-v1.5 4.7GB 8K Text ollama run llama3-chatqa:8b-v1.5
8b-v1.5-q2_K 3.2GB 8K Text ollama run llama3-chatqa:8b-v1.5-q2_K
8b-v1.5-q3_K_S 3.7GB 8K Text ollama run llama3-chatqa:8b-v1.5-q3_K_S
8b-v1.5-q3_K_M 4.0GB 8K Text ollama run llama3-chatqa:8b-v1.5-q3_K_M
8b-v1.5-q3_K_L 4.3GB 8K Text ollama run llama3-chatqa:8b-v1.5-q3_K_L
8b-v1.5-q4_0 4.7GB 8K Text ollama run llama3-chatqa:8b-v1.5-q4_0
8b-v1.5-q4_1 5.1GB 8K Text ollama run llama3-chatqa:8b-v1.5-q4_1
8b-v1.5-q4_K_S 4.7GB 8K Text ollama run llama3-chatqa:8b-v1.5-q4_K_S
8b-v1.5-q4_K_M 4.9GB 8K Text ollama run llama3-chatqa:8b-v1.5-q4_K_M
8b-v1.5-q5_0 5.6GB 8K Text ollama run llama3-chatqa:8b-v1.5-q5_0
8b-v1.5-q5_1 6.1GB 8K Text ollama run llama3-chatqa:8b-v1.5-q5_1
8b-v1.5-q5_K_S 5.6GB 8K Text ollama run llama3-chatqa:8b-v1.5-q5_K_S
8b-v1.5-q5_K_M 5.7GB 8K Text ollama run llama3-chatqa:8b-v1.5-q5_K_M
8b-v1.5-q6_K 6.6GB 8K Text ollama run llama3-chatqa:8b-v1.5-q6_K
8b-v1.5-q8_0 8.5GB 8K Text ollama run llama3-chatqa:8b-v1.5-q8_0
8b-v1.5-fp16 16GB 8K Text ollama run llama3-chatqa:8b-v1.5-fp16
70b-v1.5 40GB 8K Text ollama run llama3-chatqa:70b-v1.5
70b-v1.5-q2_K 26GB 8K Text ollama run llama3-chatqa:70b-v1.5-q2_K
70b-v1.5-q3_K_S 31GB 8K Text ollama run llama3-chatqa:70b-v1.5-q3_K_S
70b-v1.5-q3_K_M 34GB 8K Text ollama run llama3-chatqa:70b-v1.5-q3_K_M
70b-v1.5-q3_K_L 37GB 8K Text ollama run llama3-chatqa:70b-v1.5-q3_K_L
70b-v1.5-q4_0 40GB 8K Text ollama run llama3-chatqa:70b-v1.5-q4_0

10 varyant daha var — tümü için ollama.com.

Model Detayları ve Benchmarklar (kaynak: ollama.com)

ChatQA-1.5 is built on top of the Llama-3 base model, and incorporates conversational QA data to enhance its tabular and arithmetic calculation capability.

ChatQA-1.5 has two variants:

  • Llama3-ChatQA-1.5-8B llama3-chatqa:8b
  • Llama3-ChatQA-1.5-70B llama3-chatqa:70b

References

Website

Hugging Face