Дневник Automador

Хмммм а как быстро стакан обновляется, ws скорости так-то избыточны, нет там в стакане таких скоростей просто, ордера ставятся намного медленнее обновлений, это же не hft маркеты

Но я понял. Просто ты проделал огромную работу и реально я не думаю что надо это бросать только потому что полик ввел какие-то комисы на 15-минуток, ну это ж кек ) Допили его под другие условия, я бы так сделал

Это да, но зато я вот щас делал второго бота, и я сразу в спеках архитектуру из первого бота закинул, сразу предупредил клода о косяках, как маркеты правильно находить, как имитацию ордеров делать, и т.д. — и клод с первого раза (ну практически) все завел

Буквально вот, пару тройку дней понадобилось чтобы все составить грамотно и сразу заработало 

Так что я щас-то уже не сильно расстроен, зря это точно не было. Опыт который я (ну и благодаря тебе так-то) получил просто нереальный. Для меня это какая-то магия, вот была пустая папка вчера еще только — и вот клод накидал хуеву тучу файлов кода и бац — сегодня оно все само трейдить и само работать с пол пинка. 

Ну это же просто отпад, я уже даже в код уже не смотрю практически, незачем. Только .md-шки и логи читаю 

А в первой версии там уже такой индуский код был (грок + гугл + квен + антигравити + клод), что уже ну да и хуй с ним. Если что пересоберу заново, там главное чтобы стратегия сама рабочая была

Так что   за твое здоровье и продолжаю ползти

Таксь, небольшие новости по боту, доделал, запустил, усё вработает! 

Где-то неделю возился с багами, корректировал настройки сигналов, правил мелкие всякие косяки, фишки добавлял, короче прикрутил ему режим симуляции (все данные реальные кроме размещения ордеров), и поставил на пару дней:



Получилось где-то +100% к депозиту за 3-4 дня. Сделки 1-5%, иногда бывает просадка 10% если серия убыточных. И на выходных прям на месте стоит, ну это и понятно, биток очень мертвый на уикендах

Это, конечно, симуляция, но все данные из полика так что вживую все ровно так же должно работать. 

На этот раз бот не скоростной, а именно заходит по сигналам один раз в 15 минут, и ждет «до конца». 

Но я там конечно намутил пиздец, и симуляцию ордеров, и симуляцию недозалива, и расчет позиций при недозаливе, автоматически докупает позу если что, автоматический расчет перекрытий, турбо-режим (аггресивнее торгует чтобы перекрыть убыток), авто-стоп при просадке, уведомления в телегу, возможность остановить прям из телеги если что...

Короче, чё сказать, Клод это все, пиздец, у меня до сих пор диссонанс в голове, я не понимаю как это работает 

На неделе начну гонять на небольших суммах, допилю ошибки если будут, ну и посмотреть че в реале будет выходить. Потом протестирую еще на других крипто-парах. Пока этот буду гонять, уже приступил к разработке следующего бота, отпишусь как запущу.

Всем  клода! 

P.S. Щас почитал тут в дневнике свое первое сообщение, СЕЛЕНИУМ, плеать, такая ржака  Год уже прошел, эх...

Automador
Давай, давай  
Пусть через время твой кошелек начнут форсить и спрашивать кто он и что за стратегию использует 

На Питоне, или на другом? 

На питоге, да. Они в питон лучше всего умеют. Как мне джеминай однажды написал, ллмки прочли больше кода на питоне чем ты книг видел за всю свою жизнь 

Automador

А можешь подсказать, если не серкет, какой  vps-кой пользуешься для бота?) А то я планирую своего бота скоро на vps пересаживать,но никогда его не арендовывал) И твоих скринов насмотрелся, думаю чего я себе пуши в тг не слал. Это ж так просто и гениально одновременно, но я изначально об этом не подумал, исправил сейчас Буду почаще в твой дневник заглядывать, глядишь еще каких идей для себя почерпну

Сейчас он на домашнем ноуте сидит, потом куплю, в целом похеру какой, главное локация Нидерланды, 1 ядро и 2 гига оперативки хватит я думаю. Хз сколько они щас стоят, от 1 бакса до 5 в среднем 

Где покупаешь Клода? 

Я юзал в антигравити через студенческие аккаунты пока вчера не прикрыли лавочку

Где покупать щас буду хз крипто-карточку буду делать сделать скорее всего

Эх, пора тоже обновить что-ли дневник.. 

Вообщем, каждый день пока что проходит вот так:



Перешел на терминал, наконец-то перестал как долбоеб сам комиты делать, все теперь рулит кодекс

В одном окне клод\кодекс, в другом гоняю ботов паралельно на серваке через tmux. В планах разобраться с крабом, понимаю что надо было ещё вчера но пока энергии мозгов хватает только на ботов

Бот из прошлого поста в итоге отработал в плюс около недели (месяц назад) потом неизменно начал уходить в минус. Причины не могу поймать, есть подозрение что киты начали собирать лаве с лохов на полимаркете и пушить последнюю свечу аккурат под страйк, в итоге маркет разрешается в противоположную сторону буквально на пару тиков. А т.к. мой бот работал на мартингейле, то такие вот «подставы» сьедают сразу львиную часть депа. Пока что хз че с ним делать. 

Но то что  характер поведения битка поменялся это прям факт, особенно на выходных. На выходных раньше всегда был в плюс, теперь почти 70% вот таких «неожиданных» сделок в противоположную сторону.

В итоге: 

Решил пробовать нового бота, пришла идея ловить развороты вблиз страйка, неделю где-то на индикаторы и prd, и дальше завайбкодил за пару дней, на этот раз решил с помощью кодекса попробовать. Пока нравится как он работает, хотя и без матов не обходится. Клод конечно приятнее, но кодекс делает прям четко с первого раза что я ему говорю. Тупит иногда, но всегда исправляет. 

Сегодня запустил первый тест MVP, пока что минусует  Ну я этого и ожидал, просто было необходимо проверить идею. 

На очереди есть ещё идея бота для торговли погодой, но там прям пестетс зеленый лес для меня, не знаю пока даже с какой стороны подступится. 

Что ещё.. сидел тут на полимаркете вручную копировал историю сделок со страницы «активность пользователя», пока вдруг не понял какой же я далбаеб, можно же через API все это спарсить — закинул в клода, написал себе сканер, который собирает все сделки с любого кошелька в json формате, а потом закинул все в кодекс чтобы он прогнал через питона на поиск паттернов, повторяющихся действий и т.д.:



Таким образом проанализировал с десяток топовых кошельков на BTC, стала понятна их механика как они торгуют. В основном работают на задержке цены между бинанс\полик и ребалансировкой портфеля — он же гибридный маркет-мейкинг. Профиты конечно просто запредельные — от 10 до 100 тысяч баксов делают каждый день.

Сегодня попробую собрать, пока своих текущих тестирую... Но тут запас прям нормальный нужен денег на обьем, хз хватит ли

Вообщем, пока что ощущение что зарабатывают деньги на полике и клоде абсолютно все вокруг, кроме меня 

И ещё постоянное ощущение, как будто иду не в ту совершенно сторону, но пока не вижу развилки где я могу свернуть. 

Так что продолжаем... 

Кароче, вообщем переписал полностью стратегию, после бектестов проведенных с Кодексом,

Сделал рефактор, в целом вся основа осталась та же, только добавил возможно на ходу подхватывать конфиги при запуске, ну типа можно написать 'python src.main --config .env.bot2' — и он запустит бота с другим конфигом. 

Далее настроил tmux на 4-ре экрана, и что особенно нравится что можно одновременно во всех четырех окнах печатать (загуглил tmux synchronize panes config), и это просто отвал башки, теперь запускаю сразу 4-х ботов одновременно на все пары на одном серваке:



Ну и для каждой крипто-пары сделал отдельного бота в телеге, задизайнил к ним аватарочки, ляпотаа: 



Запустил тесты сразу на 4-х парах, и чтоб меня — биток сука еле тащится, а все остальные в плюс сразу улетели

То есть все это время сюка я тестил самую хуевую пару и страдал, потому что биток постоянно ходит туда-сюда и выбивает стопы

А надо было просто другую монету запустить 

Вообщем, таки по ходу шансы есть у обновленной стратегии, погоняю до конца недели там посмотрю.

P.S. — Ах да, бот которого упоминал в прошлый раз, ловящего развороты на последней свече — таки дописал, задебагил, протестил пару-тройку дней — ни-ху-я  Идея была интересная, но в итоге убыточная.

Automador
Привет 
Интересно читать твои посты, спасибо что делишься своими наработками . За твой пост с разъяснением Кодекса спасибо, но пока руки не дошли, мне вроде Клода хватает, но расширится надо) 
Я тоже своего бота делаю на битке, развлекаюсь, тестирую разные гипотезы. Работаю в терминале на VPS с Клодом. И у меня вопрос связанный с бэктестами, сколько у тебя времени занимают? 

По-разному. Раньше я запускал их на неделю примерно и ждал, но это анти-результативно, т.к. это может быть случайно хорошая неделя (что у меня и произошло), а на самом деле стратегия убыточная. 

В итоге что я сделал — я взял логику сигналов из своего бота, и запилил бектестер для трейдингвью — который выдает мне количество винов, лузов и т.д. — тут уж смотря какая твоя стратегия, у меня заточен исключительно под полик 15-минутки

Затем я данные из таблицы загрузил в кодекс, объяснил логику своего бота и попросил собрать симуляцию монте-карло, ну типа, «мне нужно знать это вообще выигрышная стратегия или нет? Дальше добавляю нюансы, типа проскальзываний, комиссий, и т.д. — тут уж по ходу чисто можно понять, т.к. по результатам видно что слишком оптимистичные, пробую разные варианты стратегий и т.д.

После того как я прогнал монте-карло симуляции и понимаю какая стратегия и значения (ну типа, размер ордера, перекрытий и пр.) дают максимальный mean pnl и терпимый dd (drawdown, просадка), делаю рефактор (переписываю) код бота и запускаю на реале на всех парах сразу

Дальше я гоняю буквально в течение 1-2 дней просто чтобы понять, примерно похоже на daily pnl из монте-карло симуляции или нет.

Если да, то оставляю крутится еще недельку, пробую еще мелочи, ну типа торговать на выходных или нет, что если 5% закладывать а не 2%, а что если 20% от ордеров не закроется, и т.д. — т.к. делать все равно нехуй пока тестируется на реале, пробую все что в голову придет

Только когда я добью до конца текущую стратегию и пойму что ну все, не работает ни-ху-я, тогда наверное возьмусь уже за новый проект, ну типа бота для торговли погодой и т.д.

А так я после этих тестов понял, что у тебя разница всего в 5 (!!!) ссаных центов от цены токена может колоссальный эдж дать в итоге бешеную прибыль которую ты просто потом масштабируешь размером изначального ордера

Так что процесс такой: 

Выбранная стратегия > Бектесты на TV (ну или ccxt пох откуда) > Монте-карло > Тюнинг стратегии и параметров > Тест бота в dry режиме в течение 2-х дней > Тест на реальных деньгах минимальный ордер-сайз (неделя) > Вывод бота на полную мощность

Нет, я отдельный написал «индикатор» (по сути просто скрипт) для TV который мне выводит данные бектеста в табличке прям на графике TV, с разными функциями, ну типа «на закрытии свечи\пересечении», «с выходными\без выходных» и тд.

Это может выглядеть так: 



Я эти данные закидываю в кодекс и прошу написать пайтон-скрипт для монте-карло симуляции. Это отдельные скрипты, в папку /simulations можно закинуть. И в кодексе в отдельной сессии работаю с данными этих симуляций, прошу его их сравнить, допиливаю мелочи и т.д. 

С кодом бота это не пересекается — да, я могу обьяснить ему как бот работает, общую логику — но он не создает «нового бота», он создает именно скрипт для симуляции по логике работы бота и банных из бектестов.

Задача на этом этапе понять рабочую стратегию и лучшие параметры. По итогу выходит что-то вроде: 



Дальше создаю отдельную сессию и составляю ТЗ для кодекса как я хочу чтобы он переписал бота и обязательно добавляю туда dry mode (ну или в новом проекте если еще не писал ничего). 

Так получаю рабочую стратегию в реальном коде. 

Dry Mode — это и есть бумажные деньги, это общепринятое обозначение в кодинге когда ты прогоняешь программу с фейковыми данными, например, ты не отправляешь реальную оплату из твоего онлайн-магазина в банк, но приложуха думает что ты отправил

Так же и в боте, dry mode = когда все твои ордера «выглядят» настоящими, и бот думает что они реальные, но их генерирует отдельный модуль фейковых ордеров. В этом же модуле у меня симулируется частичное заполнение ордеров, отказ в заполнение, слиппейдж и т.д. — для более реальной симуляции. 

Почему именно так — потому что тебе надо прогнать все случаи, например ордер не заполнился — а у тебя бот никак это вообще не обрабатывает, и че ты тогда делать будешь? А он у тебя например, ставит следующую ставку выше думая что ордер заполнился

И т.д., куча нюансов, короче dry mode желательно точной копией реальных торгов делать

В dry mode я гоняю пару дней сначала чтобы убедится что код функционирует нормально — потом еще недельку на 4-х ботах сразу через tmux — либо разные пары  тестирую, либо разные параметры. 

Выглядит это так (те что [DRY] — это и есть симулированные ордера):



Через неделю будет точно ясно, выбранная стратегия вообще рабочая или нет, и насколько.

Дальше можно запускать на минимальные суммы уже в реальном режиме, чтобы проверить как на самом деле будет полик заполнять ордера, исправлять ошибки (там дохуя всего, то проскальзывание, от цена улетает, то allowance то еще хуйня какая-нибудь)
Исправляю ошибки и дальше уже можно закидывать побольше деняг и ехать в Аргентину бгг 

Пойми я это раньше, я бы не потратил три месяца почти впустую, гоняя неделю «тестируя» стратегию, пиная хуи все это время

Отстаю от графика эммиграции пиздец, на полгода уже   

Ну хорошо хоть щас поумнел, скоро станет ясно точно по моей страте — гавно или рабочая

Так что если схема понятна, то дальше только тестировать идеи и долбить, пока не польется кэш с неба. Вон, @MrCvokka за пару дней уже бота запилил, ждать не вижу смысла вообще. @ndr все разжевал в рот положил всем

Automador
Спасибо большое за пищу для размышлений, пойду делать и разбираться на практике. Взял в работу
Меня просто бесит что надо часами ждать результатов. Клод мне предлагает переписать под vectorBT (в тоже время пишет про «возможные сложности») и там проводить симуляции,  но я не соглашаюсь, тк не до конца понял как это будет выглядеть. 
Ты не думай насчет страты «говно или рабочая» — я думаю, главное чтобы было с чем работать и допиливать. У меня идея появляется — сразу записываю, гоняю, результаты записываю, потом возвращаюсь и смотрю че как можно было сделать иначе, повторить, записать, выводы. 
Я так понял у тебя в работе больше кодекс используется сейчас
На работе с телефона в терминале приходится сидеть, зато больше успеваю идей протестить

Да, мне он нравится, ну и лимиты почти бесконечные, нравится что можно не думать об этом. Я меньше 90% ни разу не опускался еще

Я вот думаю потом поставить краба и тоже с телефона все тупо делать. Как раз теплеет — можно хоть на пляже валяться а дома краб на серваке будет все гонять и делать что надо

Automador
Спасибо большое за развернутые ответы: я вот тоже теряю дни и недели на тесте, а потом при выходе на прод выясняется что все вообще нахуй не так работает как должно и ты впустую просрал кучу времени)
А подскажи пожалуйста ты пишешь про огромные лимиты codex, ты платную подписку их юзаешь или бесплатной хватает? и клодом вообще не пользуешься?)

где-то писал уже, на plati.market купил Plus за 500 рублей. сделал левый аккаунт в гугле (на основной ни в коем случае не юзать) и пока тьфу-тьфу работает. поищи на сайте, «плати маркет» или «plati.market» я давал ссылку

Но в целом 20 баксов хуйня, просто не было карты, ща сделал себе крипто-карту прикручу оф. аккаунт свой

Клода за 20 баксов не хватает прям совсем, а Кодекс до 2-го апреля х2 лимиты, я реально меньше 90% не смог опустить их (хоть и работы не так много, чисто рефакторинг, но по ощущениям прям ооочень много)

Бесплатный на сколько-то хватит точно, проверь, у меня очень даже неплохие лимиты были на бесплатном

Ааххаха, сейчас читал твой дневник, в поиска вкусного насчёт полика и только перечитав насчёт какого то «СЕЛЕНИУМ», понял что ты тот чувак который на заре нового форума решил что то там себе автоматизировать в браузере

Чет давно ничего не писал, надо бы обновить дневник   Скоро миграция Полика на v2, хочу успеть доделать

Что нового.. уже третью неделю гоняю бота на реальных деньгах, пока что на мелочи, ну и как это у всех происходит, снова повылезало куча багов, лечим одно, калечим другое, заипался уже в усмерть честно говоря

Зато по ходу понял что: 1) спреды разьебывают нах 2) проскальзывания разьебывают нах 3) РКН блокировки разъебывают нах

Т.к. у меня бот отчитываетcя в телегу, то каким-то раком РКН по сигнатуре определил айпи моего впн сервака и нахуй обрубил коннект с телеграмом из-за чего посыпался сам бот, я пол дня не мог понять что за хуйня. Пока не собразил что проблема не во мне а в РКН, поменял заглоовки для обфускации пакетов чтобы трафик снова проходил, все заработало. 

Зато с кодексом обновил бота чтобы проблемы в телеге больше не влияли на его работу

Что ещё, добавил симуляцию спреда и проскальзываний в dry mode (демо-режим) чтобы паралельно гонять тесты максимально приближенные к реальности, тестирую разные конфиги. Однозначно надо делать грамотный dry-mode т.к. на реальных деньгах можно подслить конкретно, а при этом даже неизвестно рабочая модель или нет

Вообщем с ботом работа идет, добавил кучу новых мелочей, запускаю 5-6 разных конфигураций через tmux и тестирую — например добавил фильтр сигналов, обновил предикшн движок, и т.д. Многое че отвалилось, например я думал что trailstop будет прям ну пиздец прибыль, а оказалось наоборот в минус уводит.. Думал что если профит снимать чаще мелкими порциями будет больше обьем, а по итогу нихуя — просто ждать выгоднее т.к. процент в разы больше..

Ну короче дотачиваю движок все дальше и дальше, пора уже рефактор делать т.к. напихано в него все что можно и нельза

И поэтому... 

Я решил пересобрать бота на Rust! 

Вообще Rust — это отдельная тема, т.к. планировал на Golang, но все чаще вижу что именно на Rust все больше и больше проектов переходят, плюс все блокчейны на нем пишутся, а также все почти ММ боты, ну и сам полик имеет библиотеку для Rust (rs-clob-client), плюс Rust идеален для LLM, короче думаю ну нахуй этот Go, надо осваивать Rust, че там, хуйня, справлюсь!

Полез его изучать, и...

ЕБАЛ Я НАХУЙ В РОТ СУКА ЭТОТ RUST ПИЗДЕЦ БЛЕАТЬ 



Я на пайтоне эту детскую хуйню могу в пару строчек уложить, здесь же я ебался три часа нахуй

У меня так голова нахуй не кипела со времен универа, почему я не могу поменять переменную? А потому что она сука уже внесена в память и ее нельзя поменять обычной функцией, нужно делать mutable reference, но почему тогда я не могу соединить ее с другой переменной ??? Потому что та сука non-mutable да еще и non-reference, ааааааааааааааааааааа

Вообщем, че хочу сказать, пайтон это просто сказочноебали по-сравнению с Rust.

Но мне нравится, т.к. понимаю что выгоды будут несравненно больше чем первоначальная боль. Так что пока что планы такие — допиливаю механику бота, потом проведу миграцию на Полик v2, потом перепишу его на Rust как освою хотя бы азы.

На Rust уже буду писать бота для погоды, мм-ботов и прочих. 

Вообщем, удивительный мир, хочется все успеть но не хватает же концентрации, хочется сидеть по 16 часов, мозг не вывозит к сожалению, но то ли я обрел дзен, то ли что,

Но мне реально нравится этим заниматься, и плевать сколько оно там времени займет, как будто нашел дело до конца своей жизни. 

Такие дела поцоны всем чмоки-споки я пошел мозгоебаться с Rust-ом дальше 

Помогает ли боту какой то AI во время торговли, что бы корректировать его или он сам автономно работает?

У меня вроде всё работает как надо и начинаю думать, ну всё это финал. Но не там то было, реал показывает реальность и говорит так это не будет работать — это надо переделать, либо появляется идея нового апгрейда, и казалось бы до этого всё работало, может ненада, но хочеться риски снизить, доп защиту от какой-то хуйни поставить. Есть ощущение, что это почти бесконечный процесс, не зря ж всякие виндовс и другие приложения постоянно улучшают. И да, от этого иногда устаю, но это ведь обучает, для себя вычел столько ситуаций по полику, что при создании следующего бота изначально внесу механики которые уже работаю. Похоже к чему-то стоящему можно прийти только через боль...

Вот тоже хотелось бы, но я то в питоне 0, и только-только начало получаться то что нужно и вот это взять и начать новое — столкнуться с новыми трудностями. Поэтому решил отточу на питоне + пойдёт норм денюжка и можно будет заняться

Приятно читать такие посты

Хотел еще пару недель назад спросить, почему Go вместо Rust, но ты и сам уже переключился на него...

Нет, автономно. ИИ-шки недетерминированные, это значит что при каждом запросе будет разный результат. На это нельзя полагаться, т.к. даже при одинаковых инструкциях может делать разные вещи. Ну и зачем там ии-шка то, чистая волатильность да математика. Проблема у меня больше в скорости, проскальзываниях, ордер не исполнился и улетел в труху (редимнулся в ноль) и т.д. 

ИИ-шка которая «сама» это вот как раз про которых @ndr писал что их будут обдирать как липку норм потсоны

Да-да вот один-в-один, бесконечный процесс нах, я еще два месяца назад думал ну все денежный заводик себе сделал, аха, ннаааа сука тебе спред! Нннааа сука тебе не исполнение ордера, зависания телеграма, слетания впн-а, блокировку нидерландов...

Но я все равно в восторге, денег конечно же хочется уже поскорее но я себя не тороплю, заливаю по чуть-чуть, все будет   Тут вот уже я чувствую что «встал» на рельсы, самое сложное пройдено (ну типа, когда ваще не вдупляешь что такое гитхаб и КЛИ, что еще за КЛИ, а это Си-Эл-Ай читается, ясно, да пошли вы знаете куда где мой чатджпт)

Я изучал когда этот вопрос, много упоминали что скорость разработки на Go выше чем на Rust, + фреймворков много на него, + Rust  сложный для новичков, поэтмоу решил на Go

но потом глубже изучил тему, и понял что раз уж я собираюсь учить язык (а не просто юзать с LLM-ками) то стоит выбрать то что будет во-первых востребованно, во-вторых применимо в широких областях

Rust используется в робототехнике, все чаще в ИИ, в HFT-ботах, мне это все интересно тоже, короче решил что раз уж если нырять то с головой в самое сложное. 

После Rust говорят понимание языков другое становится, и писать хоть и сложнее но программа «заводится» с первого раза. 

Ну посмотрим. Интересный сложный путь, хз куда меня приведет, в этом кайф