Обсуждение Chat GPT и других нейросетей

Сижу, думаю...дай ка я себе локалочку дипсик поставлю, чё я в самом деле? Через классический интерфейс сижу как не знаю кто...
А так будет локалочка, а потом ещё сверху RAG подключу, бахну 1500 тысячи обсидиан заметок с моими мудрыми мыслями и ТААКУЮ кастомизацию под себя сделаю...ухх закачаешься. Это всё, это конец. Это я покорю мир в соло.
Давай грю, глянем чё там? Самая последняя модель давай, братишка..

Ааа...713 гигов да? Аа...ну ладно, ладно...а дипсик послабее сколько?
Аа..347 гигов..ааа...

Ну..ну ладно.

MrHorse
любую модель, больше 8-14 миллиардов параметров даже не мечтай поставить на домашний пк

nzr
Домашний/е довольно непонятно. Определимся с понятиями, нет?

что непонятного. представь среднестатистический комп, и будет понятно. И мало того, запуск не всегда зависит от количества параметров. Так же на возможность запуска влияет квантизация, размер контекстного окна и тд

Локально можно но понадобится минимум сетап 32-64 ядра AMD, 64-128 Ram, видяха 30х либо сетапы на m3/m4

Инструкции можно глянуть на реддите как через ollama ставится

Если через LMStudio, то для 14B модели нужен минимум Mac Mini M4 с 16 Gb. Раскалится конечно как кирпич

А так nzr дело говорит, 7B модель для обычного домашнего компа это потолок и будет она дуб дерево ясень

Вообще люди конечно критически недооценивают мощь ии. Че там сраный чатик гепете почему нельзя такой у себя на пеке сделать ага

Можно просто пека будет... нетривиальной

Кластер 4x Mac Mini M4 Pro c 64 Гб памяти каждый — сосет, буквально, даже на вшивой Llama 3.1 405B

Т.е. конфиг за 12к долларов не позволяет вытащить поза-поза-прошлую модель

При этом модели усложняются каждые 3 месяца. Эту гонку не выиграть. Не вижу домашних сетапов способных это потянуть, ибо скоро понадобятся квантовые

Причина же в том насколько по тупому сделано то что «ии» называют. Каждый раз когда об этом думаешь, распирает

Ии это буквально аутичная обезьяна, которая бросает банан, чтобы написать нобелевку. Известный мысленный эксперимент — если обезьяне за пишущей машинкой дать бесконечное количество времени, в конечном итоге она напишет все произведения Уильяма Шекспира

Обезьяна не напишет, а вот «ии» выстроен так, что напишет, но для этого нужны чудовищные мощности, чтобы из хаоса вероятностей он родил что-то удобоваримое. Это прогнозилка следующего слова на максималках, ультрабанан

В конечном итоге он рождает нечто напоминающее умновое (искусно его имитирующее, внутри там нет нихера про разум), однако, для этого приходится перебирать, условно, все знания человечества, раз за разом, в ультрасложных комбинациях, чтобы символ за символом выстроился в логическое предложение

Короче это хуже вот этого дебилизма называющегося PoW в основе биткоина. Когда мощности, потребляющие энергетику объема Бразилии, используются для вычисления совершенно бесполезных формул. Доказывающих, что ты работничек, а не тунеядец

С таким подходом купленная Майкрософтом атомная станция — вишенка, тортик будет позже

ndr
Звучит как сигнал на покупку Akash)

— А что Сатоши не понимал что это маразм вот такое делать?

Он понимал. Там просто заложен тезис, что раз эта херня потребляет, в перспективе, всю энергетику планеты, то человечеству придется родить новые источники энергии, иначе хана

И в каждом доме будет стоять термояд, суть понятна. Классическая школа мысли Принстон-стайл, не лишенная конечно смысла, но насколько же она, кхе кхе, отбитая. Впрочем все революционеры были отбитые, как и результаты их деятельности

Короче. Вот с «ии» такая же шляпа, очень интересно, на кого ее наденут в итоге. Как там у Сакса, «Человек, который принял жену за шляпу»

Прекрасная книга. Он ее реально принял, чувак свою жену за шляпу, как человечество ВОТ ЭТО приняло за «ии»

Любим людей, пока они существуют цем цем

Масштабы AI поражают, конечно. Но самая большая проблема в diminishing returns, э/э и bandwidth.

Касательно первого — тот же Суцкевер отмечал что строить просто бОльшую игрушку — не вариант. Нужно что-то менять. Но даже с учетом какого-то прорыва — это не меняет роста спроса на электроэнергию и ту же пропускную способность.

Взять пример графику в видеоиграх как diminishing returns. Она не может бесконечно становиться лучше. Поэтому нужен был disruption, который вопрос графики отодвинет на задний план на какое-то время. Таким решением сейчас является VR/AR, но mass adoption нету, потому что мало игр и вр хедсеты дорогие для нормис. Но потом, как обычно, какой-то нибудь Эппл сделает хедсет по доступной цене и адопш ускорится

Так вот. Сейчас с масштабированием ИИ куча вопросов. Где взять столько э/э? Ну вон Майкрософт купили атомную электостанцию и будут ее запускать. Ну ок. А план дальше какой? Больше ЭС покупать? Ставить АЭС в каждый дом? Ну хорошо, придумали сейчас small modular reactors. А сколько занимает строительство, ввод в эксплуатацию и т.д. А что делать с пропускной способностью? К тому же, Gen Alpha уже не будет устраваиться на работу электриками. Это сейчас в США большая проблема. Бумеры уходят, а молодые не приходят. А зачем? вон люди на мемкоинах состояние делают. Нахрена мне за копейки работать. Буду ждать новый мемкоин какой-то и попробую разогнать свои $10.

Какие есть варианты решения?

1. Какие-то микрочипы/компьютеры с фотонным/квантовым компьютом и прочие умные слова. Короче говоря, какой-то супер комп который и вычисляет хорошо, и энергии мало потребляет. Но тоже. Ему ж все равно нужна энергия
2. Меньший расход энергии. Не знаю, поставить дата центры в арктике где-то, чтобы охлаждалось лучше
3. Розничное потребление э/э ограничить. Чтоб люди сидели дома при свечах, а им ИИ агент наторговывал. А че. Заряжаешь телефон на 10% от какой-то солнечной панели. Заходишь, чекаешь баланс че там тебе агент наторговал. И идешь спать довольный. Красота. Зачем тебе этот интернет и электричество вообще? пусть вон агенты сами с собой общаются
4. Массовое уменьшение спроса. Гипотетически, если этот пузырь раздуется — то его прокол уменьшит спрос на ИИ и электричество в целом. Учитывая что сейчас game theory на полную разворичается и идет драка за ресурсы. И вливания требуются огромные. Плюс конечно в инфляции денег. И тогда это все в блокчейн польется тоже, в том числе. То есть, вливания сейчас большие. Вливают денег с одной целью — отбить их и заработать. Если и тут будет diminishing returns + глобальная рецессия из-за того же AI — то чего не может быть как с 1 мировой войной, когда чуваки подумали «а че это мы собственно вот это вот. Это же престарелые дураки войну намутили. Пошли их замочим и все». Грубо говоря — в какой-то момент уже потолок достигается, рецессия на пике и бизнес просто понимает что опять просто проще и дешевле нанять каких-то индусов за копейки. Да, работа медленнее. Но может не во всех сферах прям нужна скорость, скорость, давай, погнали, секунды, миллисекунды. Возможно, по факту, с точки зрения бизнеса нет разницы в том чтобы решить какой-то вопрос за сутки или за 20 минут, потому что оно не дает конкурентного преимущества. А ведь нужно же тоже оценивать стоимость AI в промышленных масштабах.

Опять же, это просто демагогия. Потому что будущее никто не может предсказать. Потому что мозгу не за что зацепиться. Поэтому это просто мысли в слух

Так что сейчас инвесторы будут носиться с этим ИИ (DeFAI) еще пару лет так точно. Им денег просто чуть больше надо. И надо чтоб ИИ агенты наконец дошли до розницы. Нет, текущие ATH — это еще далеко от настоящей розничной мании в погоне за кнопкой «бабло»

Но она же прекрасна

Человечество живёт на технологиях прошлого цикла. В каком году придумали «мирный атом»? Что мы смогли родить после этого? Зелёную энергетику? лол

Недавний пример Испании — в студию. Человечеству нужен пинок, импульс в правильном направлении, чтобы начать развивать технологии. В особенности — термоядерный синтез. Представьте, человек приручит солнце, прям как наши предки волков

Хохма в том, что эту идею придумали ещё в бородатые 60-е — и с тех пор не продвинулись ни на йоту. Знаете, какой бюджет у этого проекта на сейчас? 20 миллиардов. Двадцать сраных миллиардов — на проект, который может снабдить человечество нескончаемой дешёвой энергией.

Сколько там Запад влил в Украину, а РФ — суммарно? 300? 400? 500?

Судя по всему, наш поезд мчится прямиком в тяжёлые времена — чтобы они избавились от нас, мамкиных пончиков и родили сильных людей

Ребята я извиняюсь, термояд в каждый дом как решение это термояд взрыв каждый вечер по синьке
Сомнительная опция

Да и даже без синьки будет
«а что если туда камень/кота/х** засунуть, м?»
Или
«Леха, а слабо тебе....»
Или
«А давай с окна скинем, че будет?»

Не стоит путать термоядерную энергию с ядерной, где неконтролируемая цепная реакция возможна при определённых условиях

Думаешь, почему не развивают термояд? Да потому что он не умеет делать буум

Flyknit
Это все так
Моя мысль скорее в том, что сверхтехнологии массовому потребителю выдать — это не всегда тривиальная задача.
Мы знаем такое например в появлении авто. А еще в Штатах стволы у населения.
То есть, если ты даешь супер батарейку условную- которую можно кустарно пересобрать, ну в Эми например, то это потребует определенных подходов.
А если батарейка бум умеет делать как вещь в себе- то это вообще другая история.
Случаи «пользовательских сценариев» которые я предположил, конечно тоже сурьезно и даже очень.
Вытекающий реагент у тебя в подвале, растворяющий фундамент за сутки, потому что Петрович с первого этажа заленился сдать в утиль как положено- это только сходу на что фантазии хватает

Они по сути уже есть. Множество ультраспециализированных моделей, да ничего и не поменялось с тезиса инвестиций в децентрализованные облака. Если end game — мир миллионов dedicated моделей, тогда мы уже там



Теперь. Допустим, тебе нужен прям умняк на максималках. Сейчас модель o3 High Thinking может «думать» 15 и более минут на какой-то сложный вопрос, выдавая не менее блестящий ответ уровня нобелевского лауреата. Понятно, что это очень энергозатратная вещь. Ты не будешь это использовать для вопроса где выпить кофе

Параллельно ты на своей м4 можешь поднять дистиллированную 10B модель, заточенную строго под одну ультраспециализированную задачу и получишь, что нужно, затратив энергии в сотни раз меньше

Сейчас люди микроскопом гвозди забивают, но очевидно что корпоратам — одни модели, средним бизнесам другие, физ. лицам третьи и т.д. И вплоть до сверхмоделей используемых Пентагоном для военных игр и прочего

Так что масштабирование идет и не надо смотреть на капитализацию опенai и антропика, это вовсе не весь рынок. Основной то движ как раз где открытые LLama и прочие

Они дошли, просто люди уже не понимают что общаются с ии агентами обращаясь в банк или поддержку чего-либо. Антропик проводит кстати массовые сейчас увольнения ибо

Код это уже коммодити, это бесплатно, индусы больше не понадобятся никогда. Венчурный консенсус — большим айтишным зарплатам осталось полтора года. Повторяется в точности истории прошлых циклов, где станки вытесняли ручников. ИИ и есть такой станок с псевдо-сознанием

Из смешного и всем понятного примера, массовые увольнения начала Дуолинго — они переходят полностью на ИИ, отказываются от услуг контракторов, фрилансеров и внутренних сотрудников, увольняет всех переводчиков и т.д.

На реддите там уже волна гнева, но это все уже не остановить

Люди недооценивают масштаб ИИ, как недооценивали все предыдущие пром. революции.... те инвестиции, что сейчас, это копейки. Для индустрии, которая в самых консервативных оценках даст 100+ триллионов капитализации

Да-да, именно та пословица. Никто правда не обучал за последние 30 лет, как жить в период, когда тяжелые времена будут убивать слабых людей, порождая в процессе немногочисленных сильных

Вот это прям показательная история, когда всеми любимая Канва заставила своих технических писателей использовать ИИ, только чтобы... уволить их всех нахрен всего через 9 месяцев, когда они ее достаточно обучили



ИИ сейчас начинает волну пром. передела невиданных на прошлых пром. революциях масштабов. Тогда время было медленное, ткачи отмирали несколько десятилетий. ИИ справится за несколько лет

Из хороший новостей, предстоящая капитализация выживших в этой мясорубке будет настолько чудовищной, что... кто проходил Cookie Clicker до конца, тот знает бгггг

ndr

Спасибо тебе за ответ.

Грубо говоря — просто разделение по направлениям, как ты говоришь. Потому что у разных категорий разные потребности. Согласен с тобой, потому что корпораты и физ. лица никак не пересекаются вообще в своих запросах. И, соответстенно, неизбежно социальное расслоение, о чем ты тоже писал. Потому что если взять физ.лица/микро-/малый бизнес, то остаются те кто успешно внедрил ИИ в свою жизнь, используя модели/агентов под свои задачи. И будет такое себе виртуально-интеллектуальное гетто, где либо будут ИИ-диссиденты или энтеродавы, которые дальше ChatGPT ничего не осилят.

Примерно как USDT у эмигрантов: те кто освоили — успешно интегрировали в свою жизнь и пользуются ровно на том уровне, на котором оно им надо. А те кто не в состоянии осилить потому что сложно/блокчейн обман/не могу/не хочу — ну какие варианты. Идти на мороз

Хорошо, а как ты видишь этот тренд в контексте трейдинга/инвестиций? К примеру, ты в какой-то соседней теме писал что, условно, уже стерта линия между небожителями Уолл Стрит, которые использовали какие-то замудренные алгоритмические стратегии (по типу фонда Medallion) и обычным Васей. Потому что Вася теперь тоже стал умный и может сидя дома в домашних трусах помучать подходящую под это модель и в итоге родить аналогичную стратегию, которая им не уступает. При этом даже не зная как hello world написать. ИИ агентов это тоже касается: ты или сам под себя его тюнишь, либо берешь публичного агента, который за тебя инет копает, рисерчит и прочее. И смысл в том что правильно настроенный агент (или рой агентов) вообще снижает вероятность какого-либо слопа/галлюцинаций, особенно если есть факт-чекинг + ты просто настраиваешь это так чтобы тебе сухие цифры давал, а дальше ты анализируешь уже сам. Собственно, получается что правильный ИИ за тебя делает всю работу. И торговать за тебя может. Вопрос в следующем:

Допустим ты рой агентов настраиваешь вообще таким образом чтобы даже браузер не запускать. Тупо через консоль общаешься. Агенты за тебя рисерчат, торгуют, общаются друг с другом. Но если каждый становится вот таким умным и обзаводится своими агентами — в чем тогда твое конкурентное преимущество? Или это уже какая-то утопия и все как обычно упирается в то как это будет в реале работать? Или же вот такая организация работы через своих локальных агентов и есть конкурентное преимущество по-определению, потому что все будут мучать публичные модели/агентов? Или в этом тоже ничего плохого нет, как ни странно?

Я скорее имел в виду массовую истерию по поводу ИИ агентов. А-ля бинарные опционы 2015. Кнопка «бабло». То что ИИ агенты были на пике в конце 2024 — это не пик еще. Потому что еще куча людей даже не знакомы с блокчейном. Вот если это все стадо попрет в ИИ агенты в поиске кнопки «бабло» как с бинарными в 2015 — вот тогда будет движ. Как это стадо будет заходить в блокчейн — через onramp/мемкоины/еще что-то — пока не могу сказать. Но нужен резонанс по ИИ агентам + чтобы можно было одной кнопочкой деньги ИИ агенту дать.

А как с большими проектами быть? Ведь тогда вопрос не в коде, а в создании структуры и последовательности. Или ты думаешь ровно этим индусы пока и будут заниматься? Типа, описал задачу, разбил по модулям, организовал структуру взаимодействия. Все, спасибо, свободен. Дальше код будет ИИ писать по твоим лекалам

Это да. Учитывая что пока ликвидности в рынке мало + пока все дышат на ChatGPT, при том что полно моделей вокруг

В тюнинге. Грубо говоря ты читал в детстве букварь и я читал и шекспир тоже его читал. Мы оба нихрена не можем, шекспир может. А вводные у нас одинаковые. ИИ агент сам по себе это болванка. Там открываются невиданные возможности по тонкой настройке и специализации

Более того, дело идет-то к шаманизму. Уже сейчас люди не постят публично «особые» промпты потому что они в ряде условий дают некие совершенно особые результаты. Это будет усиливаться. И так вплоть до одного предложения, которое для будущих моделей позволит получить нечто космическое. НЛП обрело второе дыхание, на сей раз, с привкусом малины

Уолл Стрит сейчас автоматизирован на 96%, никто руками ничего не делает уже последние лет 20. И мы наблюдаем... расцвет розничного ручного трейдинга с начала 2020х. Институциональные алгоритмы дали ликвидность, ИИ Агенты сделают ее еще более распределенной и доступной

Там все есть, деньги ему тоже дать можно и он их спустит в рекордные сроки. Это все спираль, ты упрешься в тюнинг, в глубину знаний, в то насколько ты понимаешь что такое LLM, ее функции и т.д.

Сейчас любой может поторговать по чатгпт, просто скриншотами. Ставишь часовку кидаешь ему скрин с бинарки говоришь куда пойдет. Все потеряешь и быстрее, чем вслепую бы торговал

Умные дяди с антропика говорят что сложные проекты будут разбиты на простые блоки, за каждым из которых присмотрит свой ии агент и пара людей архитекторов

Андрей, а сама эта тонкая настройка и специализация на сегоняшний момент вся упирается по сути в искусство промт инженеринга? Или есть что-то еще, что качественно влияет на выходные данные?

Промптинг это уже хомячий финал, основное это заточка модели под себя, начиная со сбора данных, предобработки, далее fine-tuning, интерактивное цикловое улучшение и т.д

Те миллионы моделей на huggingface это вот ребята все это делают

Ликбезы

https://developers.google.com/machine-learning/crash-course/llm/tuning?hl=ru

https://www.superannotate.com/blog/llm-fine-tuning

https://www.udemy.com/course/openai-llm-fine-tuning-course/

Вообще весь курс гугла очень кайфовый https://developers.google.com/machine-learning/crash-course?hl=ru

Кто пройдет все поймет. Хокку кек

Ладно. Время глупых вопросов. Какого хрена я говорю через дипсик на опенрутер, а он говорит, что он джипити-4?

Кто пользуется клодом, расскажите, пожалуйста, как обойти привязку к номеру при регистрации? Белорусам доступ ограничен (кто бы сомневался...), впн пропускает на страницу клода, но для работы с ним нужно зарегиться

mjk_eugeny
Используешь сервисы для отправки смс с иностранных номеров, например этот https://sms-activate.ru/buy , регистрируешься и пользуешься.

Art168
Спасибо

другой вариант — можно на plati.ru купить за пару баксов уже зареганный акканут. Номера не всегда «чистые», иногда их долго приходится перебирать.