Llama.Cpp
Motore per eseguire LLM in locale
ggml-orgSoftware di terzi da repository pubblici. bestappfor.me non lo ospita, non lo verifica e non risponde del suo uso. Scarica solo dalla fonte ufficiale e controlla la licenza. Termini e esclusione di responsabilità
Descrizione
Esegui modelli linguistici di grandi dimensioni sul tuo hardware. llama.cpp offre uno strumento di chat da riga di comando e un server con interfaccia web integrata e API REST, così puoi dialogare con un modello in locale o collegarvi altri programmi.
È scritto in C/C++ puro, senza dipendenze, e usa la quantizzazione da 1,5 a 8 bit per ridurre l'uso di memoria. Supporta Apple silicon, CPU x86 e RISC-V e GPU tramite CUDA, HIP, Metal, Vulkan e SYCL, con inferenza ibrida CPU e GPU.
In evidenza
- Chat da terminale e server con interfaccia web
- Quantizzazione da 1,5 a 8 bit
- Backend CUDA, HIP, Metal, Vulkan e SYCL
Per chi è
Ideale per chi vuole far girare modelli linguistici sul proprio computer, senza servizi cloud.
Descrizione scritta dalla nostra redazione con assistenza automatica, non dallo sviluppatore, e non ancora rivista.
Perché è qui
- Codice modificato oggi
- Nuova release 8 giorni fa
Canali ufficiali
Solo canali ufficiali. Non ospitiamo né ripacchettizziamo i download.
Windowsb11609
winget install --id ggml.llamacpp -eVerificato: installer URL on github.com/ggml-org/llama.cpp
