Значення
Максимальний обсяг інформації (у токенах), який мовна модель здатна сприйняти, утримати в пам'яті та врахувати за один запит.
Українською: контекстне вікно
Три приклади з роботи
Model selection
DevCan we pass the entire customer contract into the prompt?Чи можемо ми передати весь клієнтський договір у промпт?
AI LeadYes, our model supports a 200k token context window, so it fits easily.Так, наша модель має контекстне вікно на 200 тисяч токенів, тому він легко поміститься.
Optimization
DevWe are getting context window exhaustion in long conversational threads.У нас вичерпується контекстне вікно під час довгих діалогів.
ArchitectWe need to summarize earlier exchanges and truncate redundant system logs.Нам потрібно стискати попередні повідомлення та обрізати зайві системні логи.
Cost management
PMWhy are our API inference costs doubling every month?Чому наші витрати на API подвоюються щомісяця?
DevBecause we send the full document history in every single call; we need smart retrieval.Тому що ми відправляємо всю історію документів у кожному запиті; нам потрібен вибірковий пошук.
Контекстне вікно вимірюється в токенах. Чим більше вікно, тим більше документів можна передати моделі, але це збільшує вартість і час очікування відповіді.