Мысли об ИИ

Да, это Context7 его все юзают. Подключается он к твоей IDE-шке или CLI

Вот у меня в клод коде, команда /mcp

Или вот в VS Code — Kilo Code

господи, золотой ты человек, только сегодня думал как мне ему последние доки закинуть, а уже все давно есть

P.S. Kilo Code сказка, в нем и сижу, кайфушки полные

Context7 маст хев, все свежие доки автоматом, говорю ж, все юзают

Я думаю его купят или уже купили и он будет по дефолту потом. Хотя смотря кто купит, хе хе

Вообще, с оловянычами уже по приколу открываешь любые научные работы, просто чтобы покекать, как народ пишет формулы на академические гранты, которые волшебное окно тебе объясняет в стиле губки боба

Вот это чувство комфорта, что отныне тебе доступно все на свете — с ним спишь как младенец

Особенно когда от евразии подальше

Раз уж про полезности, вот еще нашел тут, готовые саб-агенты для Клода Кода:

https://github.com/wshobson/agents

Есть дизайнеры интерфейсов, писатели документаций, и т.д. Суть в том, что в каждого прописаны все современные методы, паттерны, технологии применяемые 2024-2025 годах и т.д. чтобы клод использовал самые последние паттерны разработки

Просто засовываете их в клода как саб-агентов, и Клод сам ими пользуется, там готовые системные промпты прописаны. Либо можно вручную попросить:



Вещь

Automador

Вот еще кайфец в коллекцию недавно нашел https://www.getsnippets.ai/

Балтийский акселератор делал, огонь

Даа, красота

Щас значится как там это гэпэтэ установлю багатовым стану

Meanwhile

@ndr
А вот не смешно)
Большое удовольствие читать вашу переписку. So inspiring
Мне space'а не хватает, чтобы вообразить масштаб творящегося на дисплее, даже думал уже о дублирующем ноуте, иначе как это обуздать — экранов не хватит.
Мечтаю Думаю в VR эппловском уже претворить в жизнь: настолько заразный этот минимализм, что ты спойлернул. Хочется полного погружения во всё это. Драйв, конечно, так учиться. Хачу!
#upd
Non-stop

Ладно, Андрей. Я все понял. Решил попробовать все таки поиграться с MCP и понапрягаться. Решил спарсить то что мне нужно. А там документация большая, что-то читать надо и разбираться. Нет времени и желания. Оловяному брату в VS Code было дано грамотное ТЗ. Есть такой-то класс, надо спарсить его. Ничего сложного. Как ты это будешь делать — меня не интересует. Вот документация если нужно. MCP используй вот этот. Удачи. Я пока пойду чиллить

Вернулся и он все сделал с 1 раза. Работа выполнена. Хозяин доволен. А раньше чтобы сделать примитивный парсер мне надо было садиться и разбираться минимально с Питоном. Как итог: работа выполнена, время на чтение документации — 0. Вообще не читал. И сейчас пишу, а раб пашет за копейки

Так что да. Квалификация нужна в том плане чтобы давать правильно задание и выстраивать архитектуру взаимодействия. Но до меня дошло о чем ты, примерно. А так надо было бы садиться, вспоминать Питон минимально, садиться и читать что-то. Зачем?

Сейчас любят 49-дюймовые под это дело, вот тут знакомый продает как раз

Ну и таки да, кто бы сомневался что это работает везде. С наскока наваливаешься куда-то. Целишься на маленькие победы. Мотивируешься. И дальше фигачишь. Мои бы рекомендации да себе бы в уши. Так что gracias

P.S. братан конечно за копейки работает, забавно. Бедные индусы. Главное конкурентное преимущество их уже реально «всё»

Незачем, exactly

ndr
Меня внешний вид отвлекает) Раз это бог из машины, то пускай вокруг будет комфорт.


Я просто реально не понимаю, зачем VR-шлемы, если на них только играть (не люблю). Визуализировать!

На яблочный продукт очередной ты меня натолкнул мыслью, в общем. Всю эту красоту с вайбом хочется из головы на окно переносить без помех. Да и лёжа тоже. Учиться ночью прям моё и по возможностям тоже, лишь бы учиться.

Ладно, пойду я. Ваши диалоги . Равняться на вас побуждают.

К месту попалась статья в Саб https://open.substack.com/pub/ukrainesarmsmonitor/p/drone-warfare-in-ukraine-drone-swarms?utm_campaign=post&utm_medium=web
Бесспорно в этой отрасли передовыми являются украинские и русские компании/стартапы, не так ли? Оно и логично, датасеты у них трещат по швам

Друг рассказывал как устроена украинская Дельта. Я подахуел

Но по идеи, если такая идея направленная чтобы прокачать US army, должно быть они на блюдечке дадут нужные датасеты, и дельты тоже

Казалось бы: экономическая модель запада вроде, как бы, наверное перестает работать (глупые китайцы делают нам за копейки продукт, мы на него лепим бренд, делаем маркетинг, продаем дорого. Пухнем от денег. Процесс повторяем), потому что китайцы поумнели и даже какие-то там ШОСы организовывают. Казалось бы, вот оно, наконец-то: славный, великий Китай скоро встанет с колен, красиво и громко хлопнет дверью так что в США все обосрутся и локти будут кусать, потому что Китай должен стать новым гегемоном.

Реальность: американский студент файн-тюнит какую-то китайскую модель типа Квена/Хуена чисто под дроны, делает бренд, бизнес. Упаковывает это в удобный сервис/продукт. Продает за дорого. Но это нишевое. А можно еще проще: арбитраж компьюта. Опять бренд, опять маркетинг. А под капотом дешевый китаец за копейки компьютит.

Компартия Китая:

Ну да мы давно кекаем что ИИ полностью повторили мировое разделение труда

Т.е. дорогой американский выпускник Стенфорда (Opus) делает бизнесы и архитектуру, а вкалывают на них дешевые китайские квены хе

Балдею от этих ваших векторных дб. Удивляет то в какой пещере и под каким камнем я жил до открытия этой вещи. Хотя шеф писал об этом. И Давид

Прокрастинировал бы и дальше, наверное. Так что благодарен за то что ndr палкой периодически тычет всех нас и заставляет все изучать.

Так что, можно сказать, открыл для себя огонь первый раз. И как уже писалось ранее — сразу же возникают мысли о персонализированном обучении. Мысли из черновика:

1. Коллекция личности. Все что касается твоего типа личности, темперамента, психологии, размышления и т.д. Сюда же можно Обсидиан заметки все позатягивать.
Бонусом еще натренить ИИ-психолога, чтобы он ИИ-учителю (gpt oss какому-то) передал свой анализ о тебе. На что обратить внимание и т.д.. Анализ в дб заносим
2. Коллекция знаний. Выпаршенные (выпарсенные? от слова парсинг) материалы по открытым курсам типа с OCW (транскрипты). Транскрипты тематических видео на ютубе. Т.е. слой базы знаний для ИИ
3. Коллекция обучения (тема которую хочешь изучить). Все заметки на тему того что ты уже усвоил, что надо подтянуть. Если что-то надо подтянуть — то сразу же ищется эта тема, видео. Парсится и пополняет коллекцию знаний

Про стоимость этих всех развлечений ничего не хочу слышать. Дайте мне пройти стадию романтику. Отстаньте.

ИИ фитнес тренер. Слой базы знаний наполнять ИИ рисерчером. ИИ-медик. Вообще отдельная модель. Утром с психологом пообщался, потом пошел к ии-стоматологу, узнать че у тебя зуб болит вот этот. Потом ИИ-тренер тебе шлет «привет, заебал» и говорит что если ты сегодня пропустишь опять тренировку — то модель сама себя ликвидирует.

А, ну и маленькие (tiny LMs) модели — это тоже кайф кайфовый. Это уже что-то на практичном языке. Вообще готов монитор расцеловать. Просто балдеж

Так что, братья, альфа в оцифровке книг и других источников знаний, которые не попали в датасеты ЛЛМок

smellmybum
Да, в этом весь кайф и магия, каждый получает конструктор из которого можно собрать все свои идеи и желания, т.к. как ты и описал — можно делать совершенно уникальные, очень персонализированные вещи, ранее сервисы были генерализированы — общие советы, общие выжимки из книг, общие данные, общие производные из этих данных. Теперь же сервис очень персонализируется под личные запросы, личные желания, личные ситуации. При этом инпуты для всех могут быть общими, B2B и SaS изменился навсегда.

И в этом смысле это только начало, модели все еще довольно дорогие, они деградируют, они ограничены контекстными окнами, проблема context rot порядком выбешивает т.к. она порой уничтожает скейл на больших датасетах — все это сейчас решается кучей разных хаков и танцев с бубном, но по мере развития мы получим очень интересные продукты и персональные решения многих проблем.

Ну и создадим новых, куда уж без этого, здесь я тоже иллюзий не питаю. Интернет предыдущего цикла уничтожил теплоту, сделал социальные сети чудовищным рассадником токсичности, вынес в цифру крестьянские суды линча в виде cancel culture, сломал менталку Z поколению, раздолбал частную жизнь как феномен, создал эко-комнаты которые заложили основу к поляризации групп и обществ.

Что создаст ИИ, я даже боюсь представить. Но это будет потом, а сейчас у нас есть чудесный фронтир возможностей.

А сколько стоит норм векторка?

Мэтью недавно рассказывал как хочет частную LLM натренированную строго на его жизни



Векторизация сейчас самая горячая тема. На корпоративном уровне люди векторизируют по 100 000 документов в сутки, идет гонка инфраструктур

На частном — все свои тексты, видео, любимые книги, все все

Идет этап загрузки себя в ИИ облако

Никто, в конечном итоге, не хочет пользоваться «общим» облаком, это как ходить в общественную баню — нишевая тема. Так-то ты выберешь свою ванну ну или бассейн, на что ты там заработал

@GrayFox777
Вот, медвед не соврёт.
Каждый будет в своём информационном коконе.

И еще обязательно локальная расцензуренная модель. Очищенные от цензуры датасеты — это страшный эдж конечно.

А то Мэтью спросит что-то о своем периоде в жизни, а ИИ ему скажет «Извини, но это чувствительная тема и я не могу тебе ничем помочь»

То что вот это можно сейчас бесплатно качать — такие ценные датасеты, базовые модели, коммьюнити модели на hugging face — вот это мозг взрывает. И он подсказывает что это нужно все выкачивать себе на комп до посинения

Дополним, что нецензурные модели есть в изобилии, обычно у них приставка abliterated https://huggingface.co/models?other=uncensored

Также это можно сделать самому, пример процесса https://huggingface.co/blog/mlabonne/abliteration

Ну или использовать кто сделал это за тебя, например у Venice с их последней топ моделью

Вопрос: где тренировать свои модели, учитывая, что для самой простенькой нужно от 256 GB VRAM видеопамяти, а у твоей видяхи только 8

Ответ: делается это строго на спец. процессорах Nvidia. Все тренируют в облаке. Популярный пример https://www.runpod.io/

Цены:



По личному опыту, тренировка своей модели, если руки не из жопы, обойдется в 300-500 долларов

Т.е. ты должен просто просчитать сколько уйдет на тренировку и умножить на кол-во часов компьюта

Это объясняет разнообразие моделей на HuggingFace — дома это не тренируется (за редким исключением), потому что нет домашних систем с таким объемом видеопамяти и производительностью

Цены же на облачный тренинг непрерывно падают, поэтому это уже, в целом, доступно каждому

Своя, эксклюзивная модель по цене дешевого ноутбука — более чем приемлимо

Другой вариант, он тут описывался, делать кластер из M4 Pro/Max



Однако, так можно натренировать лишь самую простеньку модель. На одном M4 вообще дорога в ноль, он раскаляется как кирпич и его физически жалко

Так что так можно побаловаться, но для нормальной модели надо брать в аренду

И отдельная ниша это энтузиасты которые закупают H100/H200 в серверную стойку себе в подвале. Стоимость такого процессора от 20 до 80 тысяч долларов, плюс обвес и все остальное (электричество и проч)

Поэтому люди вкладывают стоимость дома — 200/300 тысяч долларов и так работают

Вопрос: как научиться тренировать модели

Ответ: я проходил курсы на Udemy по HuggingFace, некоторые тут также упоминались, можно и свои поискать

Сейчас замечательное время, когда курсов в разы больше, чем личного времени, причем курсов просто невероятных по качеству

Однако, время найти придется, потому что ИИ уже выносит человечество и времени у тебя-то скоро будет много — без работы, жилья и денег, но тебе это вряд ли понравится, ага

Я также считаю (да это очевидно) такой работы как «продвинутый юзер гпт» будет не больше, чем «продвинутый пользователь клавиатуры» или «опытный пользователь Гугла»

Поэтому «промт инженер» — очевидная шутка, артефакт ранней индустрии. Нет таких «инженеров», не надо оскорблять это слово. Продвинутый пользователь лопаты vs владелец экскаваторного завода. Продвинутый пользователь кареты vs конвейер завода Ford, все повторится, как было на всех других пром. циклах

Тренировка моделей, поэтому — очевидный edge с кучей примерений. От личных — создания личных ИИ и экосистем до работы в этой теме на уровне корпораций, ВПК, малого/среднего бизнеса и т.д. Мир миллионов моделей и миллиардов агентов

Знания требуются крайне специфические, специалистов — очень мало. Это очевиднейшая ниша для отдачи себя в ближайшие 2 года

Мысли на тему:

Это очень важный навык, который экономит кучу времени и сил. И ускоряет все процессы. Просто очень сложно объяснить в чем его сила, если не сталкивался никогда с этим. Ведь всегда хочется начать со своих идей. И сделать что-то «своё». Но если опыта нет, то идеи провалятся с большой вероятностью

Когда, что называется, сам же влюбляешься в свою идею и носишься с ней месяцами. И по итогу остаешься у разбитого корыта. Хотя достаточно было взять что-то готовое и понять как это работает у того, у кого оно...работает. Примеры тут и на форуме есть

Особенно программистам сейчас очень тяжело. Ведь ты годами учился, набивал руку. А тут, по сути, твоя значимость сводится к нулю. И ты становишься в оппозицию: код написанный не программистом — это не тру и просто кодинг, а не настоящее программирование и прочие тезисы.

Верно это лишь в случае, как мне кажется, software инженеров/архитекторов. Человеки, которые могут организовать процесс и грамотно делегировать его ИИ. А если ты годами кодил в Джаваскрипте просто — ну да, печалька. А надо было архитектором программ становиться

И преимущество вайбкодеров именно в том что ты с девственной душой приходишь в этот сложный мир программ. Ты ничего не знаешь и не умеешь, но зато есть мотивация.

Проблема в том что ты будешь принимать все предложения ИИ по коду. В конце концов, что такое АПИ ключ? ну можно его куда-то засунуть в публичное место, почему бы и нет. ИИ лучше знает

К чему это приводит — гадать не приходится. И все сводится к тому что код таки коммодити, но архитектура и организация процессов — это узкое горлышко, которое не позволяет раскрутить колесо вайб кодинга на полную.

И варианты какие? Становиться software engineer (зачем?), делегировать арихтектуру и оркестрирование ИИ (можно, в зависимости от задач), либо брать уже готовые проекты где это все сделали за вас. Таким образом, ты исключаешь самое сложное в этом процессе. И можно фокусироваться на вайбкодинге, потому что поменять дизайн приложения, кнопочку переставить — это несложно, потому что костяк у тебя уже построен кем-то

Что как бы намекает на кое-что