Кто-то помнит как первый раз посмотрел такой эпохальный фильм как «The Matrix» ?
Какие были мысли и ощущения после просмотра?
Это нереально...
Так не может быть...
Если и да, то явно не на моем веку...
Откуда они знали...
Какая у Тринити ахеренная з... будем серьезны.
Разумные машины поработившие людей... мрачное будущее... жуткая фантастика. Или...
Как мы все уже знаем, на данном этапе развития, технологией, которую человечество гордо величает ИИ, является лишь большая нейронная сеть с миллиардами параметров, обученная предсказывать наиболее вероятный ответ на основе вводных данных и тех данных что разработчики в нее загрузили и обучили. Т.е. как Андрей уже очень доходчиво сказал в одной из веток — «обезьяной рандомно кидающей банан». Так или иначе, если сделать несколько миллионов/миллиардов итераций, то результат будет достигнут. Да, разумеется, результаты и попытки не совсем рандомны (вообще не рандомны), иначе бы для задач более сложных чем распознавание рукописных чисел, пришлось бы задействовать все GPU на планете. Даже твою бу шную RTX 4090 купленную на авито
Чтобы мамкины геймеры не ополчились на весь мир, модели приходится оптимизировать и обучать чтобы попытки прогнозирования следующего результата были наиболее верны. Для этого существует отдельный технологический пласт по обучению моделей, в котором настраивают и оптимизируют веса и параметры, при помощи адовой математики, градиентного спуска, эволюционных алгоритмов и других страшных слов, которые знать не обязательно (нет).
Весь этот процесс выстроен на множестве и множестве прогонов моделью входных данных и корректировки параметров, что расходует много... очень много...неприлично много энергии. Настолько неприлично много, что ведущие компании заключают контракты на строительство собственных модульных атомных энергоблоков, которые будут работать только для одной цели — обеспечивать работу ЦОД:
Ибо щито делать, если энергопотребление GPT-3 за сутки работы сопоставимо с энергопотреблением города на 20000 человек, а на его обучение затрачено порядка 1300 МВт/ч.
Каждое новое поколение моделей, грубо говоря, требует кратного увеличения двух параметров:
- Вычислительной мощности
- Энергии
И... кажется мы уперлись в пределы одного из них)
Не секрет, что увеличивать вычислительную мощность кремниевых процессоров невозможно до бесконечности. Текущий параметр новейших техпроцессов 3-5 н-м, при размере атома кремния в районе ~0.24-0.6 н-м. Размер минимально возможного транзистора невозможен больше этого значения. Кроме того теоретический предел частоты лежит в пределе 20-22 ГГц, при современных рекордно достигнутых 8 ГГц.
Иными словами, максимально допустимая вычислительная мощность лежит в пределе 10^32 экзафлопс, при текущих мощностях суперкомпьютеров порядка 10^15 петафлопс. Это примерно в 10^17 степени раз меньше теоретически предельно возможной
— расти есть куда.
Но когда дело касается энергии.. то тут становится не все так радужно и красиво. В мире до сих пор подавляющим видом получения энергии является сжигание чего бы то ни было (уголь, газ, мазут и т.д.), что критически, совершенно, не допустимо для создания условного GPT — 7 и уж тем более AGI. Анонсируемый буквально вот вот GPT -5 может потреблять порядка 2-5 ГВт. Прогноз потребления GPT — 6 порядка 50-100 ГВт. Аллоцировать более 15% генерации энергии всей планеты под ИИ практически нереально, а это «всего то»... порядка 500 ГВт. Что же получается, нам все ж не получится заполучить себе тян на основе Eliza OS?
https://interestingengineering.com/innovation/eliza-ai-robot-designed-as-real-girlНу... с другой стороны зачем нужна тян умнее тебя не правда ли?)
Итак, мы уже поняли что нам где-то надо взять Гигаваты энергии. Зеленую энергию оставим на обсуждение CNN (вкратце, ничего там не «зеленое»). Атомная энергетика неплоха, но мы до сих пор не знаем что делать с отходами, и за неимением лучшего тупо их закапываем на территории стран, которые свою землю ценят меньше чем деньги. Водородный синтез... да, отличная технология и прекрасный метод. Экологичный, чистый, практически совершенный — сама мощь Вселенной, то что зажигает звезды может работать на благо человечества... Звучит как фантастика. Потому что ей и являлется. ITER — надежда светлого энергетического будущего цивилизации по факту мертв в свете текущих геополитических событий.
Казалось бы, тлен, тоска и безысходность, но тут на сцену выходит абсолютно мозговыносящая (в прямом смысле слова) концепция. А что если взять уже то что работает? На планете уже эдак 40000 лет существует вполне себе рабочая версия биологического интеллекта кратно превосходящая все что мы знаем. И более того, что самое интересное, потребляющее всего то... 20 ват в сутки. Да — да прямо как лампочка у вас в ванной. И что еще круче его не нужно обучать) он учится сам, на своих ошибках (хотя не все его носители на это идут, кек). Именно так подумали парни с континента наводненного самыми адскими тварями на планете и родили это:
https://corticallabs.com/cl1.htmlДа это именно то что вы подумали. Нет, это не прикол. Сам в ахере до сих пор
Натурально сплав мозга и кремния. Симбиоз биологии и машины со всеми портами и разъемами. Компьютер, в основе которого лежит биологический процессор. А точнее, органоид, выращенный из индуцированных стволовых клеток прямо на кремниевом чипе.
Пока приходит осознание происходящего немного фактов:
Эта хрень за 10 сессий сама научилась играть в Pong еще в 2021м:
https://www.newscientist.com/article/2301500-human-brain-cells-in-a-dish-learn-to-play-pong-faster-than-an-ai/Под нее создана собственная OC с сенсорным интерфейсом — biOS (пасхалка видимо) .
Ее можно купить! Всего за каких-то абсолютно жалких 35000 долларов.
Но что стало финальным панчем лично меня это метод ее обучения:
https://www.biorxiv.org/content/10.1101/2021.12.02.471005v2.full (многобукаф)
Итак, я надеюсь вы сидите читая это. Потому что обучение нейронов органоида лежащего в основе это херни заключалось в... боли. Именно так. Когда нейросеть делала что-то неверно, ее облучали хаотичными волнами вызывающими у нее дискомфорт, что бы это не значило. И наоборот, при верном выполнении облучали гармоничными волнами. Оно. Обладает. Чувствами.
Если этого мало, то пацаны к концу 2025 года планируют ввести в эксплуатацию 4 кластера по 30 устройств CL 1 в каждом, общей мощностью жалких 96 флопс. Это ничто — пыль. Вычислительная мощность такого кластера меньше вычислительной мощности
зрителей тиктока мозга крысы. Однако прикол в том что вычислительные мощности этого кластера можно...
Арендовать.
Прям да. Прям как Акаш.
[шутка про Worldcoin 2.0]
Занавес. Спасибо за внимание к этому вопросу)
