1M+
Kontekstno okno v tokenih
Približno 2.500 strani besedila, 11 ur zvoka ali 1 ura videa. Enakovredno Claudu (1M) in skoraj 8-krat večje od GPT (128K).
Primerjava kontekstnih oken (tokeni)
128K
GPT
128K tokenov
1M
Claude
1M tokenov
1M
Gemini
1M tokenov
0
Strani besedila na prompt
0 ur
Zvoka v eni zahtevi
0%
Prihranka s predpomnjenjem konteksta
Kdaj morda ne potrebujete RAG
Pri mnogih primerih uporabe je kontekstno okno z 1 milijonom tokenov dovolj veliko, da se povsem izognete zapletenosti RAG (generiranje, obogateno s pridobivanjem). Namesto gradnje cevovoda embeddingov, vektorske baze in logike pridobivanja lahko pogosto preprosto vključite vse pomembne dokumente neposredno v prompt. To bistveno poenostavi arhitekturo za ceno večje porabe tokenov na zahtevo, kar lahko izravna predpomnjenje konteksta.