Дексы и Перпы (Dex)(Perp)

ndr

Клод проанализируй что написал выше NDR и на основе этого напиши прибыльного бота 

на самом деле респект за чтиво, последнюю неделю рублюсь по 10 часов в стакане полика на предмет всего что можно и нельзя, до дискорда почему то не додумался, и на отдельного агента для доки тоже, твиттер высосан весь насяльника, но там интересуют уже даже не столько полики, а ребята, которые его тащат

Flyknit

Некогда, все пошли заставлять своих разношерстных помощников шевелить весами и векторами 😂

Сделать бота можно тут, https://discord.com/developers, но все равно, нужно чтобы кто-то с правами пригласил его. Все инструкции пишутся под бота который уже сидит на серваке. Вряд ли админы всех подряд ботов запускают пачками. Скилл можно написать и самому, но как быть с доступом?

Юзертокеном через селфбота. Либо юзать готовые либы как-то https://github.com/dolfies/discord.py-self либо накодить самому, я делал оба варианта разницы нету

Приглашений и проч не требуется )

@ndr дядя Вова может видео анализировать? Переводить в транскрипт и читать текст? Если видос без звука, например пошаговая инструкция? Разбивка на скрины по миллисекундам с последующим анализом?

panda28

Да может через другого дядю. Все дяди мультимодальные и отлично сделают и транскрипты, и распознавание любых скринов, надерганных через yt-dlp и ffmpeg

Один из самых крутых дексов — GRVT — сегодня официально запустил свой токен. Дроп доступен для всех в личном кабинете, забирайте кто с ними работал



Остальные могут купить на всех платформах

ndr

работает!  спасиб)

вот мозг бы еще перестроить — задавать вопрос только после того, как поковырялся и сам поискал... читаю с гпт readme к hermes, и там в принципе все это было лол



Андрей, спасибо тебе за терпение, я учусь задавать меньше тупых вопросов и включать свой мозг..

@ndr Андрей, понимаю, что вопрос сугубо индивидуальный, и у всех количество Вов, Петь, Вась будет разное, каждый из них будет обрабатывать разное количество данных и тд.. во сколько примерно будет обходиться стоимость инфраструктуры? VPS понятно, 5-10 баксов в зависимости от поставщика.. а вот сколько токенов будет тратиться на ту же Гемму? До написания своей ЛЛМ мне еще пахать и пахать, но ведь наверняка можно какие-то локал модели пихать на VPS, и затачивать их, каждую под свою задачу? или для этого VPS уже нихера наверное не хватит и надо норм железо свое ставить, чтобы тащить такое? спрашиваю гпт, он рисует цифры из разряда API на X тебе встанет $700 лол (непонятно как в контексте гермеса он решил пихнуть мне апиху тви), токены $50, впс 15 и тд.. интеренсо что на практике у тебя выходит.. занимался ли ты оптимизацией всего этого добра и тд Спасибо!

Мы тут все учимся, спрашивай что хочется, на то и форум )

Про инфраструктуру, недорого на самом деле, если ты уже научился юзать по существу. Т.е. топ модели запрашивать для сложных вещей — архитектуры и оркестровки — а дешевые китайцы и опенсорс тащат основную нагрузку (гемма квены глмы и проч)

Чтобы они тащили ее эффективно им нужна помощь, сама по себе модель нихера не делает. Потому понадобятся тулзы (tools), много тулзов, которые и будут делать всю работу, а моделям передавать лишь результаты. Десятки/сотни скилов, хуков/вебхуков и проч. До того, как модель будет задействована, 90% работы уже будет сделано, поэтому токенов не надо там много

Железо не нужно никакое, потому что ты модели не запускаешь локально. Харнес на 20-50-100 агентов, «агент» это просто несколько папок с файликами .md, .json, .sh, .py, .ts и т.д., нагрузки там вообще нет, компьют удаленный

Свою локальную модель можно, минимальные требуют от 15 Гб оперативной памяти. Это немного, но реально дешевле и эффективнее брать их у инференс провайдеров (опенроутер чутс венеция и проч) чем держать физически дома на компе. Свет выключат, интернет отключат ага, так серьезно не работают. Держать на VPS — понадобится дорогущий VPS. Брать serverless/облачные инстансы под это, тоже смысла немного. Просто получишь слабую модель за все деньги мира. А брать монстра чтобы тащил свежие квены, так гемму можно 10 лет оплачивать, экономически невыгодно

Локально нужно если уже научился делать свои узкоспециализированные модели или хотя бы файнтюнить существующие — иначе ты просто получишь слабый квен и все, он будет почти бесполезен

Поэтому упор я бы на тулзы делал, научился бы их создавать и проч, а модели далее потом уже не особо-то и важны и нагрузка на них будет небольшая. Я давно не плачу 200 долларов за клод, плачу 100 и он никогда не нагружен и на 20%, кроме вот конкурса где было сложно, но почему — никаких тулзов не было, пробивал чистым клодом, потому что было мало времени. Был бы месяц и желание, нагрузку на клод можно было бы снизить в 10 раз

За тви апишку платить твиттеру не надо, они есть в rapidapi по божеской цене

понял, то есть по сути ты декомпозируешь задачу на херову кучу тулзов, каждый из которых заточен на выполнение своей микро-задачки

а дальше уже оркестровка тем же клодиком, который исполняет тулзу за тулзой в нужно тебе порядке, выполняя весь проект 

представляю эту команду чемпионов, каждый из которых трудится на благо создателя 

пошел пробовать это все, спасибо!

panda28

Технически это называется «проектирование контекста». Вместо того чтобы захлебываться в слопе, ты проектируешь тулзами контекст запроса и получаешь ожидаемый результат

Есть отличная книжка об этом



Тут именно про создание мультиагентских систем, где у каждого агента свои тулзы и свои полномочия. И далее хай левел — семантические чертежи, цепочки контекста, мультиагентская оркестровка, высокоточное извлечение данных и проч. А также система «белого ящика», это когда обмен данными между агентами идет прозрачно, а не хуй пойми как

Я обычно все стараюсь делать сам — и советую делать также — но потом ты всегда увидишь, что епта все это давно описано, на куда более высоком и эффективном уровне. Но ты уже сам провел нужную самостоятельную работу, поэтому такие книги затем зайдут как икра на масло

Так что советую поебаться самому, затем изучить умновых как в книге выше и будешь чемпионом