| Potrebna strojna oprema | Opombe | |
|---|---|---|
| V4 Pro (1.6T) | Gruča z več grafičnimi karticami poslovnega razreda | Največji odprtokodni model; potrebuje precejšnjo infrastrukturo |
| V4 Flash (284B) | Postavitev z več grafičnimi karticami (4+ vrhunske) | Dostopnejši od Pro, a še vedno zahteva strežniško strojno opremo |
| R1-Distill-70B | 1 do 2 A100 ali 2 RTX 4090 | Izvedljivo na profesionalnih delovnih postajah |
| R1-Distill-32B | 1 RTX 4090 24 GB (kvantizirano) | Dobro ravnovesje kakovosti in dostopnosti |
| R1-Distill-14B | 1 RTX 3090 ali 4070 Ti | Uporabniška grafična kartica; primerno za osebno uporabo |
| R1-Distill-7B/8B | 1 RTX 3060 12 GB ali Apple M2+ | Primerno za prenosnike ob kvantizaciji |
| R1-Distill-1.5B | Samo procesor, kateri koli sodoben računalnik | Teče povsod; prototipiranje in robne naprave |
Ogrodja za gostovanje v lastni režiji
vLLMProdukcijska strežba API z visoko prepustnostjo. Prva izbira za postavitev modelov v velikem obsegu.
llama.cppSklepanje na procesorju in mešano na procesorju/grafični kartici. Največja prožnost strojne opreme in podpora za kvantizacijo.
OllamaNamestitev in zagon z enim samim ukazom. Najpreprostejša pot do lokalnega zagona DeepSeeka na vaši napravi.
Licenca MIT: brez omejitev
V nasprotju z Metino licenco Llama (ki omejuje uporabo nad določenim številom uporabnikov in pragovi prihodkov) licenca MIT pri DeepSeeku ne postavlja nobenih omejitev. Modele lahko uporabljate komercialno, jih fino prilagajate, destilirate in izpeljanke nadalje distribuirate brez plačila licenčnin. Zaradi tega je DeepSeek najbolj dopustna družina vrhunskih modelov AI, ki je na voljo.
Začnite z majhnim
Večini, ki želi preizkusiti lokalni AI, priporočamo, da začne z Ollamo in modelom R1-Distill-7B (potrebuje ~5 GB RAM). Teče na skoraj vsakem sodobnem prenosniku in vam da občutek za zmožnosti razmišljanja DeepSeeka, preden vložite v večje postavitve strojne opreme.