Дневник Tick9er

Столкнулся с проблемой памяти проекта.
Контекста стало настолько много, что в какой-то момент проект начал просто теряться: модель уже не всегда помнила, что мы делали, почему приняли то или иное решение и по какой иерархии вообще двигаемся дальше.

В итоге лучшее, что пока придумал — вынести «память» самого проекта отдельно.

Теперь основные решения, текущее состояние, ограничения и следующие шаги фиксируются внутри самого проекта. Плюс периодически делаются checkpoints — условные контрольные снимки состояния (CKPT-000001, CKPT-000002, CKPT-000003 и т.д.). Старые не переписываются, а каждый новый фиксирует очередной важный этап.

Идея в том, что даже если завтра полностью закрыть все сессии и открыть проект с нуля с другой моделью, она должна восстановить всё из этих записей: где мы находимся, как сюда пришли и что делать дальше.

Посмотрим, как покажет себя на практике

@Tick9er

Посмотри LLM Wiki Карпатого. Дай оловянному https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f скажи «сделай также иначе подписку не продлю»

И там в комментах куча проектов на этой концепции тоже можно чет полезное взять

@ndr

Спасибо, реально полезно 👍
Прогнал идею на своей системе: большую часть уже по сути реализовал, но нашлись пробелы именно в навигации по накопленной истории.
Решил не делать отдельную LLM-wiki как второй источник правды, а сейчас делаю автоматически собираемый слой поверх основной памяти: карта веток/гипотез, хронология решений и проверки пропущенных связей/противоречий. Сам он ничего не решает и не хранит новую «истину» — его можно удалить и заново собрать из исходных записей.
Посмотрим, как покажет себя  👌

Теперь упёрся уже не в память модели, а в обычную оперативку и вычислительные ресурсы.

Сейчас часть проекта работает на небольшом VPS. Для постоянных задач его вполне хватает, но появились расчёты, которые на нём уже либо слишком тяжёлые, либо просто нецелесообразно запускать.

Пока решил такие задачи не мучить на слабом железе, а складывать отдельно и потом запускать пачкой на более мощной машине/VPS.

Интересно, кто на чём держит свои проекты?
Сколько CPU/RAM у вашего основного VPS? И если появляются тяжёлые вычисления — апгрейдите основной сервер или поднимаете отдельный мощный инстанс только на время?

Особенно интересно у тех, у кого боты + сбор данных + аналитика/исследования работают 24/7.

@Tick9er

Что у тебя занимает память скинь 

@ndr

Вот что сейчас крутится 



В обычном режиме ему хватает, сам сборщик ест всего ~68 MB. 
Думаю основной VPS в перспективе поднять до 8–16 vCPU, чтобы был запас.
Но сейчас хочу прогнать довольно тяжёлый расчёт по историческим данным стакана — обработка большого объёма L2 данных и расчёт исполнимой стоимости по уровням книги. По оценке нужно уже 32–64 GB RAM, поэтому даже апгрейд основного VPS полностью вопрос не решит.
Думаю такие тяжёлые расчёты копить и периодически поднимать под них отдельную мощную машину на несколько часов/сутки. Интересно твоё мнение, как правильнее такое организовать — апгрейдить основной VPS или тяжёлые расчёты всё-таки выносить отдельно?

Это кто тебе так рассчитал, не подсказывай, мы точно знаем, кто  Никакой такой скрипт требует столько памяти. Обычный питон скрипт для просчета стаканов съест мегабайт 200

VPS не нужен тебе мощный, все такое не делается на них. Первое — оптимизируй, это бред юзать 60 гигов, ты ж не ллм модель тренируешь )

Если нужно, мощности берутся serverless on demand т.е. надо взять в аренду мощный компьют, просчитаешь что тебе надо за пару минут и за эти же пару минут и заплатишь

Это Targon, Akash, Phala, Marlin, Super Protocol и прочие их много. Подключил, дал оловянному апишку, закинул 10 баксов, дальше оловянный все сделает — возьмет в аренду, зальет, просчитает, выгрузит результаты, оплата по использованию

Таргон наверное самый простой https://targon.com у них есть агентский интерфейс для подключения одним промптом

@ndr

Спасибо, это хорошее направление.