Мысли об ИИ

ASh

Это в карточке каждой модели на опенроутере https://openrouter.ai/google/gemma-4-31b-it

я как давно на опенроутер не заходил, они претерпели редизайн, теперь все выглядит не так всрато

ASh

Да он стал очень удобным и настраиваемым. Можно выбирать схему автороутинга, использовать ключи от других провайдеров, юзать автошаблоны для промтов, моделей и их конфигурации...

...брать логи от моделей и отправлять на анализ во внешние сервисы...



..использовать классификаторы — структурируя каждый запрос по нужным критериям...



И там много еще чего. Опенроутер постепенно становится, такой, агентской операционной системой. Имеет всяческий смысл разобраться в нем для повышения эффективности

Совершенно всратое интервью про китайца который ебашит ИИ снимая трущобу за $150 в месяц лишь бы не работать с 9 до 5 (996 по китайски, с 9 утра до 9 вечера 6 дней в неделю):



Абсолютный кибер-панк  

P.S. c 11:30 интересная мысль котторую тут на форуме уже обсуждали тыщи раз — если у тебя есть промпт, значит он есть у любого другого. Бедняге заказов с ИИ не хватает даже на сьем хаты, настолько это все подешевело

Ой это шикарное видео, вот он — андеркласс 

Что мы видим — вертикальный монитор (тм), изогнутый 34 дюйма ширик (тм), механическая клава (не разделенная)(тм), 5 смартфонов, планшет, стул эргономический, мышка логитек модновая, 20 гпт-шек

Живет на помойке, жрет какое-то говно, работает курьером и еле выживает

Это надо всем смотреть кого гпт приведет там к успеху. Увидь себя и вздрогни

Впрочем — винда, хе хе хе

Фуух, епта 

Не любитель я быстрого темпа жизни. Но я молод и похоже уже привык

Что не день, то у компьютера

Идеи, проекты, курсы, книжечка №1, книжечка №2...

Часто обращаюсь к этим 2 аксиомам, чтобы контролировать своё FOMO и не уйти в затяжную рефлексию:

-Редко/Вовсе не размышлять о том, сколько еще не постигло знаний твое тело
-Редко/Вовсе не размышлять о том, сколько уже пройдено

На финише будем размышлять  

Так он поэтому и выстрелил, раст. Ну кроме того что это С для бедных кек

Но я думаю все языки будут неизбежно типизироваться под ллмки, питон тоже дотянут

Есть впрочем принципиальные ренегаты, которые даже не допускают мыслей про llm-assisted pr's как вот Zig например

Пока результаты для луддитов не очень, Bun за неделю 30 клодами переписали с Zig на Rust, было много бурь про это

@ndr

Ну я вообще вот немного смотрел в OpenAI Python SDK и там они использовали pydantic для проверки типов. Я пока еще до этой темы не добрался чтобы что-то сказать по этому поводу, но мысли возникают иногда

@smellmybum

В питоне тоже все можно да но народ ты ж видишь, спешит и поэтому выбирает готовое, чтобы не страдать со старой базой

В тви за этот год все с питона перешли на раст как один, включая создателя акаша кстати, он подробно объяснял почему

И там всегда одна и та же причина — в эпоху где программистов больше нет, а все архитекторы, рулят только языки структурно под это созданные. Хотя иронично все они создавались совсем не для этого

Я думаю да, в траншеях это сразу становится видно. По крайней мере, я об этом подумал для себя

Ты тратишь время на архитектуру. Допустим, ИИ имплементировало ее. Потом ты проверил код. Потом запустил, потом что-то не работает. И так далее. Итог: очень большой overhead + maintenance, потому что не факт что оно еще потом в будущем не сломается

Динамическая типизация: быстрый прототип, тесты. Но все ломается по любому поводу. Это трудно масштабировать

Статическая: задрачивание до тех пор пока не скомпилируется. Если успех — то диапазон проблем сужается

Учитывая что имплементация из-за копеечного инференса не будет стоить ничего, то не страшно, пусть ЛЛМ долбится до победы, пока не скомпилируется имплементация твоего видения/архитектуры

Грубо говоря, твоя задача какая? Чтобы программа работала и ничего не ломалось 

То что программа работает — с Питоном эте еще ничего не значит. Быстрые прототипы, но сложный maintenance и фидбек луп

В случае с растом — это уже понятнее. Ну как в конкурсе ХФ судья: программа не скомпилировалась, потому что такая-то ошибка. ЛЛМ получила фидбек от «судьи». Идет дорабатывать. И до победного

И дальше уже понятнее с чем программа может столкнуться. Если ты выключишь комп на котором она запущена — то это уже вопрос не к компилятору. 

И список этих проблем может быть исчерпывающим +-. Значит, maintenance падает до низкого уровня

@smellmybum

Я поэтому с оптимизмом смотрю на блокчейны новой волны которые создаются на языках со статической типизацией (как Go), они агентско-нативные по дефолту, почти безошибочные будут и космически быстрые. Это будет офигенно

Как народ учится с гптшками, один из способов — создавать анимацию по изучаемой теме или даже целые тематические анимационные парки, посвященные чему-то



Образование конечно одна из немногих областей (ну кроме токен максинга для кодинга) где у них нет альтернатив. Кто ж откажется от ожившей энциклопедии, буквально, мечта детства 

См https://laurentiugabriel.github.io/blog/articles/how-i-use-llms-to-learn/

Думаю даже не переводчик поймет о чем этот скрин



Ну, кто победил?

Что вы тут видите



Первая мысль — андеркласс. Нищееб который украл клодом другой клод и дальше ему хватило наглости обратится к оригинальному слоперу, это прекрасно. Тупень даже не видит разницу между клод и клауд, он Claude читает подстрочником — КЛАУДЕ. Потатое. Кампутир. Это гений

И лично я вижу в нем клиента. Миллионы — миллиарды слоперов получивших хуй из окна гпт захотят получить не хуй. Как же интересно с ними будет работать, ведь андеркласс это не просто новый социальный класс — прекариат — который пришел на смену среднему

Это и есть клиентура нового пром. цикла. Что же продать потребителю волшебного окна? Спросите у форекса и что он продавал последние 30 лет, это будет хорошим стартом 

Дальше, из домашней лабы



Это сколько агент переписывает. Опус опережает Гпт Сол в два раза (2 раза). Остальные просто сука говно, просто говно. Кими блять — говно. Грок — говно. Джемини — говно. Дипсик, боже, говнище

Люди этими моделями пытаются формулы для трейдинга делать. Человеки, они блять ФРАЗУ перевести не могут  С которой школьник справится. Вас наебали

Бенчмарки это не покажут, ни один. Они все сделаны чтобы это продать хомякам, потому что лабам нужны бабки инвесторов

А дальше Graph Engineering и все это вообще не инжиниринг, дя, ну и ладно



Но прогресс показан харошо. Т.е. если все еще пытаешься пропмтить — пора быстро двигать по лестнице успешного успеха

Забавно. После завершения 2 главы мозг прочистился, все показалось очень простым, появилась уверенность. 

В итоге сейчас мучаю Питон потихоньку + уже окончательно отхожу от харнессов в сторону фреймворков + чисто своих тулзов. Начинаешь с полного 0, понимаешь чего не хватает, берешь SDK, там тоже понимаешь чего не хватает. И так карабкаешься по абстракции, чтобы не изобретать велосипед. Но уже с пониманием что и зачем ты делаешь. Я сейчас остановился на OpenAI Agents SDK, к примеру. Очень хороший фреймворк, его легко подружить с венецией, чутс и прочими, кто поддерживает chat completions эндпоинты (ну т.е. любые уважающие себя типы). Прикрутил еще к нему телеметрию.

Как глоток свежего воздуха. Ты видишь четко что, куда, какая функция, где затуп и т.д. И хоть и до этого было понимание что идет в контекст ЛЛМ, но именно фреймворк показал что, на секундочку, вот это все что аппендится (системный промпт, тулзы, вызовы и т.д.) — это дохера. А трансформеры хоть сейчас и жоские, но внимание у них ограничено

И вот когда ты видишь вот эту тонну токенов, которые врываются в контекст — становится понятнее почему мульти-агентские системы лучше, почему MCP которые дают стопицот тулзов — это сразу же верный путь к гнилому контексту и прочее.

Один контекст — немножко тулзов, небольшой системный промпт. И так для каждого огэнта, до победы. Ну и коммуникация без прозы между ними (желательно). Но это все дает фреймворк нормальный

И не могу даже 3 главу закончить. Все перечитываю снова и снова. Пока не дойдет. Вроде доходит. Медленно