everythinglm

Uncensored Llama2 based model with support for a 16K context window.

13b
Hızlı Kurulum (Ollama kuruluysa)
ollama run everythinglm

Ollama kurulu değil mi? ollama.com/download — Windows, macOS ve Linux için ücretsiz. İlk çalıştırmada model indirilir, sonrası tamamen çevrimdışıdır.

Varyantlar

Boyut büyüdükçe kalite artar, donanım ihtiyacı yükselir. Başlangıç için küçük varyantı deneyin.

EtiketBoyutBağlamGirdiKomut
latest 7.4GB 16K Text ollama run everythinglm:latest
13b 7.4GB 16K Text ollama run everythinglm:13b
13b-16k 7.4GB 16K Text ollama run everythinglm:13b-16k
13b-16k-q2_K 5.4GB 16K Text ollama run everythinglm:13b-16k-q2_K
13b-16k-q3_K_S 5.7GB 16K Text ollama run everythinglm:13b-16k-q3_K_S
13b-16k-q3_K_M 6.3GB 16K Text ollama run everythinglm:13b-16k-q3_K_M
13b-16k-q3_K_L 6.9GB 16K Text ollama run everythinglm:13b-16k-q3_K_L
13b-16k-q4_0 7.4GB 16K Text ollama run everythinglm:13b-16k-q4_0
13b-16k-q4_1 8.2GB 16K Text ollama run everythinglm:13b-16k-q4_1
13b-16k-q4_K_S 7.4GB 16K Text ollama run everythinglm:13b-16k-q4_K_S
13b-16k-q4_K_M 7.9GB 16K Text ollama run everythinglm:13b-16k-q4_K_M
13b-16k-q5_0 9.0GB 16K Text ollama run everythinglm:13b-16k-q5_0
13b-16k-q5_1 9.8GB 16K Text ollama run everythinglm:13b-16k-q5_1
13b-16k-q5_K_S 9.0GB 16K Text ollama run everythinglm:13b-16k-q5_K_S
13b-16k-q5_K_M 9.2GB 16K Text ollama run everythinglm:13b-16k-q5_K_M
13b-16k-q6_K 11GB 16K Text ollama run everythinglm:13b-16k-q6_K
13b-16k-q8_0 14GB 16K Text ollama run everythinglm:13b-16k-q8_0
13b-16k-fp16 26GB 16K Text ollama run everythinglm:13b-16k-fp16

Model Detayları ve Benchmarklar (kaynak: ollama.com)

The Everything Language Model is a Llama 2-based model with a 16k context released by Totally Not An LLM (Kai Howard). It was trained with the EverythingLM Dataset and is uncensored.

CLI

ollama run everythinglm

Once loaded, change the context size to 16K

/set parameter num_ctx 16384

API

Example:

curl -X POST http://localhost:11434/api/generate -d '{
  "model": "everythinglm",
  "prompt": "Why is the sky blue?"
  "options": {
    "num_ctx": 16384
  }
 }'

Reference

13b parameters original source: Totally Not An LLM