Сижу, думаю...дай ка я себе локалочку дипсик поставлю, чё я в самом деле? Через классический интерфейс сижу как не знаю кто...
А так будет локалочка, а потом ещё сверху RAG подключу, бахну 1500 тысячи обсидиан заметок с моими мудрыми мыслями и ТААКУЮ кастомизацию под себя сделаю...ухх закачаешься. Это всё, это конец. Это я покорю мир в соло.
Давай грю, глянем чё там? Самая последняя модель давай, братишка..

Ааа...713 гигов да? Аа...ну ладно, ладно...а дипсик послабее сколько?
Аа..347 гигов..ааа...

Ну..ну ладно.

MrHorse
любую модель, больше 8-14 миллиардов параметров даже не мечтай поставить на домашний пк

nzr
Домашний/е довольно непонятно. Определимся с понятиями, нет?

что непонятного. представь среднестатистический комп, и будет понятно. И мало того, запуск не всегда зависит от количества параметров. Так же на возможность запуска влияет квантизация, размер контекстного окна и тд

Локально можно но понадобится минимум сетап 32-64 ядра AMD, 64-128 Ram, видяха 30х либо сетапы на m3/m4

Инструкции можно глянуть на реддите как через ollama ставится

Если через LMStudio, то для 14B модели нужен минимум Mac Mini M4 с 16 Gb. Раскалится конечно как кирпич

А так nzr дело говорит, 7B модель для обычного домашнего компа это потолок и будет она дуб дерево ясень

Вообще люди конечно критически недооценивают мощь ии. Че там сраный чатик гепете почему нельзя такой у себя на пеке сделать ага

Можно просто пека будет... нетривиальной

Кластер 4x Mac Mini M4 Pro c 64 Гб памяти каждый — сосет, буквально, даже на вшивой Llama 3.1 405B

Т.е. конфиг за 12к долларов не позволяет вытащить поза-поза-прошлую модель

При этом модели усложняются каждые 3 месяца. Эту гонку не выиграть. Не вижу домашних сетапов способных это потянуть, ибо скоро понадобятся квантовые

Причина же в том насколько по тупому сделано то что «ии» называют. Каждый раз когда об этом думаешь, распирает

Ии это буквально аутичная обезьяна, которая бросает банан, чтобы написать нобелевку. Известный мысленный эксперимент — если обезьяне за пишущей машинкой дать бесконечное количество времени, в конечном итоге она напишет все произведения Уильяма Шекспира

Обезьяна не напишет, а вот «ии» выстроен так, что напишет, но для этого нужны чудовищные мощности, чтобы из хаоса вероятностей он родил что-то удобоваримое. Это прогнозилка следующего слова на максималках, ультрабанан

В конечном итоге он рождает нечто напоминающее умновое (искусно его имитирующее, внутри там нет нихера про разум), однако, для этого приходится перебирать, условно, все знания человечества, раз за разом, в ультрасложных комбинациях, чтобы символ за символом выстроился в логическое предложение

Короче это хуже вот этого дебилизма называющегося PoW в основе биткоина. Когда мощности, потребляющие энергетику объема Бразилии, используются для вычисления совершенно бесполезных формул. Доказывающих, что ты работничек, а не тунеядец

С таким подходом купленная Майкрософтом атомная станция — вишенка, тортик будет позже

ndr
Звучит как сигнал на покупку Akash)

— А что Сатоши не понимал что это маразм вот такое делать?

Он понимал. Там просто заложен тезис, что раз эта херня потребляет, в перспективе, всю энергетику планеты, то человечеству придется родить новые источники энергии, иначе хана

И в каждом доме будет стоять термояд, суть понятна. Классическая школа мысли Принстон-стайл, не лишенная конечно смысла, но насколько же она, кхе кхе, отбитая. Впрочем все революционеры были отбитые, как и результаты их деятельности

Короче. Вот с «ии» такая же шляпа, очень интересно, на кого ее наденут в итоге. Как там у Сакса, «Человек, который принял жену за шляпу»

Прекрасная книга. Он ее реально принял, чувак свою жену за шляпу, как человечество ВОТ ЭТО приняло за «ии»

Любим людей, пока они существуют цем цем

Масштабы AI поражают, конечно. Но самая большая проблема в diminishing returns, э/э и bandwidth.

Касательно первого — тот же Суцкевер отмечал что строить просто бОльшую игрушку — не вариант. Нужно что-то менять. Но даже с учетом какого-то прорыва — это не меняет роста спроса на электроэнергию и ту же пропускную способность.

Взять пример графику в видеоиграх как diminishing returns. Она не может бесконечно становиться лучше. Поэтому нужен был disruption, который вопрос графики отодвинет на задний план на какое-то время. Таким решением сейчас является VR/AR, но mass adoption нету, потому что мало игр и вр хедсеты дорогие для нормис. Но потом, как обычно, какой-то нибудь Эппл сделает хедсет по доступной цене и адопш ускорится

Так вот. Сейчас с масштабированием ИИ куча вопросов. Где взять столько э/э? Ну вон Майкрософт купили атомную электостанцию и будут ее запускать. Ну ок. А план дальше какой? Больше ЭС покупать? Ставить АЭС в каждый дом? Ну хорошо, придумали сейчас small modular reactors. А сколько занимает строительство, ввод в эксплуатацию и т.д. А что делать с пропускной способностью? К тому же, Gen Alpha уже не будет устраваиться на работу электриками. Это сейчас в США большая проблема. Бумеры уходят, а молодые не приходят. А зачем? вон люди на мемкоинах состояние делают. Нахрена мне за копейки работать. Буду ждать новый мемкоин какой-то и попробую разогнать свои $10.

Какие есть варианты решения?

1. Какие-то микрочипы/компьютеры с фотонным/квантовым компьютом и прочие умные слова. Короче говоря, какой-то супер комп который и вычисляет хорошо, и энергии мало потребляет. Но тоже. Ему ж все равно нужна энергия
2. Меньший расход энергии. Не знаю, поставить дата центры в арктике где-то, чтобы охлаждалось лучше
3. Розничное потребление э/э ограничить. Чтоб люди сидели дома при свечах, а им ИИ агент наторговывал. А че. Заряжаешь телефон на 10% от какой-то солнечной панели. Заходишь, чекаешь баланс че там тебе агент наторговал. И идешь спать довольный. Красота. Зачем тебе этот интернет и электричество вообще? пусть вон агенты сами с собой общаются
4. Массовое уменьшение спроса. Гипотетически, если этот пузырь раздуется — то его прокол уменьшит спрос на ИИ и электричество в целом. Учитывая что сейчас game theory на полную разворичается и идет драка за ресурсы. И вливания требуются огромные. Плюс конечно в инфляции денег. И тогда это все в блокчейн польется тоже, в том числе. То есть, вливания сейчас большие. Вливают денег с одной целью — отбить их и заработать. Если и тут будет diminishing returns + глобальная рецессия из-за того же AI — то чего не может быть как с 1 мировой войной, когда чуваки подумали «а че это мы собственно вот это вот. Это же престарелые дураки войну намутили. Пошли их замочим и все». Грубо говоря — в какой-то момент уже потолок достигается, рецессия на пике и бизнес просто понимает что опять просто проще и дешевле нанять каких-то индусов за копейки. Да, работа медленнее. Но может не во всех сферах прям нужна скорость, скорость, давай, погнали, секунды, миллисекунды. Возможно, по факту, с точки зрения бизнеса нет разницы в том чтобы решить какой-то вопрос за сутки или за 20 минут, потому что оно не дает конкурентного преимущества. А ведь нужно же тоже оценивать стоимость AI в промышленных масштабах.

Опять же, это просто демагогия. Потому что будущее никто не может предсказать. Потому что мозгу не за что зацепиться. Поэтому это просто мысли в слух

Так что сейчас инвесторы будут носиться с этим ИИ (DeFAI) еще пару лет так точно. Им денег просто чуть больше надо. И надо чтоб ИИ агенты наконец дошли до розницы. Нет, текущие ATH — это еще далеко от настоящей розничной мании в погоне за кнопкой «бабло»

Но она же прекрасна

Человечество живёт на технологиях прошлого цикла. В каком году придумали «мирный атом»? Что мы смогли родить после этого? Зелёную энергетику? лол

Недавний пример Испании — в студию. Человечеству нужен пинок, импульс в правильном направлении, чтобы начать развивать технологии. В особенности — термоядерный синтез. Представьте, человек приручит солнце, прям как наши предки волков

Хохма в том, что эту идею придумали ещё в бородатые 60-е — и с тех пор не продвинулись ни на йоту. Знаете, какой бюджет у этого проекта на сейчас? 20 миллиардов. Двадцать сраных миллиардов — на проект, который может снабдить человечество нескончаемой дешёвой энергией.

Сколько там Запад влил в Украину, а РФ — суммарно? 300? 400? 500?

Судя по всему, наш поезд мчится прямиком в тяжёлые времена — чтобы они избавились от нас, мамкиных пончиков и родили сильных людей

Ребята я извиняюсь, термояд в каждый дом как решение это термояд взрыв каждый вечер по синьке
Сомнительная опция

Да и даже без синьки будет
«а что если туда камень/кота/х** засунуть, м?»
Или
«Леха, а слабо тебе....»
Или
«А давай с окна скинем, че будет?»

Не стоит путать термоядерную энергию с ядерной, где неконтролируемая цепная реакция возможна при определённых условиях

Думаешь, почему не развивают термояд? Да потому что он не умеет делать буум