Больше 200 к контекста и не нужно (если не ставишь лупы на многочасовые проходы с обновлениями и очисткой контекста, но это уже к теме автономности агентских систем)
Чтобы там не говорили про 1м контекста — это все костыли сейчас и шляпа, sparse attention трансформера работает не так (покрытие увеличивается, но с сильной деградацией — обычная классика пресижн рекола и баланса f1, то есть последнее падает сильно )
старайся держать контекст на 70-75 % от 200 к
«как бороться» ?
Карты контекста, хуки, скиллы как ходить по картам.
То есть если начинаешь новый чат и хочешь дать контекст проекта, делай единую точку входа для агента (как назвать файл по фигу) в этой карте у тебя ссылки на спецификации, доки, роадмапы итд.
Набей руку в этом, потом обязательно добавляй версионирование доков, пощупай что такое git итд.
Каждый такой раздел в себе потом также имеет детализацию, например если пошли в спецификации — то там карта спецификаций всех, в шапке файла обязательно на 50-100 строк как этим пользоваться агенту.
___
Следующий шаг это иньекции докстрингов и документаций в сам код, тогда и доки не понадобится или в минимальном количестве
Затем строишь графы связей между этими контрактами и докстрингами в коде — для этого есть куча инструментов готовых и методологий.
Далее это единая точка входа будет сразу связана с этими графами и модулями проекта, агент это очень хорошо понимает и для него лучше навигации нет, он сразу будет точечно ходить куда надо.
Старайся сильно не быть зависимым от MCP и RAG — это все отмирает потихоньку, так как есть ограничения у таких инструментов оно и понятно почему, хотя какие то вещи можно использовать и нужно, но не строить всю архитектуру только на этом.
___
Штурмуй самого агента, как делать АИ френдли навигацию без оверинжиниринга, он подскажет.
Всегда уточняй для чего это, целеполагание и добавляй нужно чтобы даже самый тупой агент мог этим пользоватся, не засирая контекст лишним.
В целом по ГЛМ отзывы хорошие, сама модель неплохая, агентские фишки это уже обвязка вокруг модели и тут уже вариантов много как это использовать.
___
много разных чатов на 1 проект,много маленьких задач. Пока пробую так
А так и нужно ), как еще то ?
Декомпозиция, на каждый модуль спеку итд.
Не, какие то простые вещи можно и ваншотнуть в один чат конечно (по типу какойнить сайт/лендинг простой или парсер намутить), все зависит от задач
