Локальные ИИ модели

Время пришло отобрать свои данные у жадных лап облаков Антропика, Гугла и OpenAI

Обсуждение

Давайте посмотрим насколько компетентна локальная модель описанная мною вот здесь

Теперь о чем речь, особенно для самых маленьких, в деталях. Чтобы точно было понятно, что именно мы делаем

То, что называется «исскуственным интеллектом» — гпт, гемини, дипсик — «живет» в корпоративном облаке. В огромных дата-центрах за миллиарды долларов, на бесконечно мощных промышленных серверах

Каждый раз, когда ты открываешь гпт и вводишь туда «как дела», этот вопрос уходит на сервера гпт. Дальше он обрабатывается сервером, дается модели, она дает ответ, отправляет назад и ты его получаешь в виде ответа «отлично, а ты»

Ты только что отдал что-то гпт и что-то получил взамен. Гпт при этом имеет полный доступ ко всему содержанию чата и собственно предоставляет его бесплатно, чтобы высосать из юзеров максимум данных — так модели тренируются. Поэтому в гпт крайне нежелательно давать пароли сиды личные данные и т.д, но люди именно это и делают, понятно, отдают все с потрохами

В отличие от них, локальная модель существует ТОЛЬКО у тебя на компьютере. Это буквально такой файл. Он не имеет доступа к интернету (но его можно предоставить как дополнительную фичу). Его контролируешь только ты, он работает строго на твоих мощностях это абсолютно твой, личный, индивидуальный ИИ

Для его запуска не нужен мощный компьютер как таковой — нужно лишь достаточно оперативной памяти. В зависимости от модели, от 2 гигабайт до 500 гигабайт и более, что, понятно, на домашних компах несколько проблемно (хотя можно взять бу-шную серверную плату под xeon, есть разные способы)

В данном примере взята вот эта модель https://ollama.com/library/qwen3:14b она требует 12 Гигабайт оперативной памяти. У моего Мак Мини М4 Pro памяти 24 GB, поэтому я готов отдавать 12 GB под потребности моего личного ИИ. Они заняты только когда он работает — когда чилит, память освобождается

Насколько такая личная маленькая модель способная? Против гигантов на миллиардных серверах

Возьмем вот этот пример, этот перевод текста с китайского, объективно — сложная задача для любого ИИ. Еще год назад она была бы как таковая полностью невыполнимой

Выбираем вот этот фрагмент

Берем мою маленькую локальную модель и гиганта — Gemini 3 Pro, лучше которого в мире для переводов сейчас нет. Итак, сервера гугла и мой маленький мак мини. Битва проиграна по дефолту, верно?

Сравниваем

Это перевод Gemini

Это перевод маленькой локальной модели

Гемини, конечно, победил. Но насколько маленькая модель была плоха, учитывая что ее возможности в несколько десятков тысяч раз меньше, чем у гемини? Я был сказал, она вытащила поразительно, это же не моська против слона — это микроб против звездолета

Но давайте попросим ее же исправить то, что она только перевела. Вот ее ответ

Практически соответствует Гемини  Причем даже с некоторыми художественными улучшениями — оборот «словно он вольный и независимый, несмотря ни на что», это очень поэтично — гемини эту аналогию из китайского текста не вытащил вообще. А китайский очень образный язык

Все это в сырую — без проптминга. Если заложить промтинг, лучшую итерацию можно получить и сразу — но мы тут проводим чистый эксперимент

Как видим, локальная, твоя личная модель, МОЖЕТ совершенно бесплатно тащить невероятно сложные задачи. И русский и китайский — космически сложные языки. Год назад локальная модель не смогла бы связать две фразы!

Сейчас 12GB оперативы дают тебе личного, вечно бесплатного переводчика (и все остальное), которого просто нужно слегка подучить. Стоит того? Это вопрос?

Технически это ставится двумя кнопками — нужно поставить https://ollama.com/ и в нем буквально сделать команду ollama run <название_модели> где название берется с сайта https://ollama.com/search

И далее запускается ollama-serve — сервер, где живет модель физически, после чего запускается она сама. Либо в командной строке, либо в любой программе поддерживающей Ollama, коих миллион

Например, как у меня в BoltAI — общаешься как с гпт по удобству, никакой разницы



Личная модель — следующий левел после гпт-шного рабства и его можно абсолютно легко сделать УЖЕ сейчас, не дожидаясь, пока тебя завалят рекламой и требованием денег. Локальные модели на крошечной оперативе уже сверхкомпетентны — представляю, какими они станут через 2 года

Всем спасибо за внимание. Пост был написан этой же моделью (шутка) 

Или? 

Ладно это я писал. Но уверен локальные через годик смогут также 

ndr
Вроде еще можно как то файнтьюнить модели, или скачивать под определенные задачи зафантьюненные на хаггинг фейс (я ничего не знаю, не спрашивайте меня, мне самому интересно) 

Artemkickbox
Да после регистрации на HF можно скачивать любые приватные модели, равно как самому их тюнить и многое другое. Пока рассматриваем базовое

Собственно говоря, расцензуренные модели можно и нужно себе тоже локально запускать. Ибо из-за корпоративных guardrails — шаг влево-вправо и «прости, это очень плохая вещь. Я не могу тебе ничем помочь»

А расцензуренные модели, внезапно, часто могут давать интересные инсайты

 С Петей бодался сегодня как правильно закидывать снюс, не хотел мне давать рекомендации 🙄

А какие вообще есть преимущества в плане функционала у локальной модели, если ты не банк, не хедж фонд, я не имею ввиду приватность ненужность интернета и тд, чисто про эффективность для задач

Типа если я хочу сделать нейронку которая будет строить мне маршруты доставки, или например искать паттерны

Какая из них лучше справится? 
Клод у которого дохулиярд параметров с раг по идее будет иметь больший уровень абстракции, он этих свечей по идее больше сожрал 

А локальная модель квантизована, вес каждого «веса» меньше, поэтому уровень абстракции меньше и как бы она должна хуже определять нужный мне паттерн? 

Но с другой стороны я могу локальную нафидить миллиардом примеров паттернов, из ценового распределения, и она по идее будет более прожженая в этом? 

Или как это работает? 

Если на API-запросах разоряешься. И дешевле уже просто модель себе поставить и платить за электричество + учитывать амортизацию. 

Зависит от самой задачи. Не всегда нужна thinking/reasoning модель. В твоем случае может справится и более туповатая модель, опять же, смотря как выглядит задача. Если маршрут строится детерминированно, т.е. по одной и той же формуле и просто подставляются какие-то переменные — то, наверное, клод опус 4.5 тебе не нужен, незачем за него переплачивать по той же подписке или API. Или если паттерны какие-то надо сопоставлять. + локальные модели могут быть быстрее для каких-то задач, т.к. задержка меньше

Неквантизированная модель — это можно представить изображение какое-то, четкое такое. А чем выше квантизация — тем больше качество этого изображения падает, больше блюр. Хуже не хуже — главное чтобы задачу свою выполняла. Надо тестировать. Либо справляется, либо идет на мороз

Если так, то да. Имеет смысл затюнить локальную модель просто. Если примеров много. Но тоже, надо сравнивать. Может можно поставить модель чуть умнее + RAG юзать

Тебе тут не нужна ЛЛМ (большая языковая модель) — разве что переводить от других систем/сетей результат на естественный язык или в роли оркестратора.
Для логистики GNN — графовая нейрал нетворк, если цель оптимизировать маршруты
Паттерны — если ты про трейдинг, то тут любая табличная модель из классики машинного обучения или перевод данных в 3Д матрицы для сетей или в эмбэддинги (ну и например какие нибудь автоенкодеры в связке с другими сетками — CNN или трансформер)

Все от целей зависит и данных.
Сырые данные -> предобработка -> цель (лейбл/таргет) если обучение с подкреплением — ревард функция -> подачи на вход модели -> архитектура/гиппернастройки сети или системы/обучение -> выход -> интерпретация результатов/метрики успеха или нет

Так примерно выглядит пайплайн обучения, 80% времени уходит на первые три этапа, они самые важные-фундамент, это корм.
Есть еще пайплайн инференса — получения предиктов/пробы от моеделей, он немного отличается в предобработке данных

___

Лично на практики с графами не имел дел, а вот автодетектор паттернов делал на основе OHLC  — это тема ваще не простая, так как сетке нужен сигнал, разметка (возвращаемся в первым трем пунктам пайплайна для трейна), иначе слишком много шума и получается говно не рабочее.
Гипотез и подходов было проверено не мало (если нужно могу подробнее описать какие, но без запроса это будет возможно лишняя инфа).

В итоге пришел к выводу, что если мы хотим просто бабла используя машинное обучение (в а трейдинге там целый космос где можно его использовать, тут прям чистое творчество), то самое простое с чего лучше всего начать это:

 - Берем свою экспертизу в трейдинге и «сигнал» — не важно что это, это может быть тупо треугольник или пробой кишки болика/волатильности, это очень простые четкие сигналы, работающие почти на всех рынках, делаем разметку этого дела.
Далее нам нужен алгоритм, который будет забирать из АПИхи цены и размечать данные, с точкой сигнала — где бы мы вошли в реале. То есть мы имитируем как бы свой трейд, но сажаем его на алгос.

— Далее эта разметка идет в обучении модели, мы как бы передаем ей свой опыт, например торгуем пробой волы или гип, да похер что, главное чтобы алгос разметки был простой и четкий...

...
____

ВОТ ЗДЕСЬ ща будет самое интересное:
Казалось бы, нахера нам тут МЛ, если мы тупо можем захардкодить сигналы и написать бота, который будет тупо входить выходить итд.

Итак разница подходов:
1. хардкод на боте
Захардкодили сигнал, сделали бектест — вышла херня с 99% вероятностью (оно и понятно, не все так просто), что мы в данном случае делаем далее ?
Правильно, фильтруем, фильтры-критерии, тестим разные разные варианты (перебор ТФ, перебор параметров индюков, добавление мульти ТФ, добавлении других индюков, правила входа тренд/не тренд  итд итп — тысячи этих вариантов, если не мильоны.
Посмотрите дневники трейдеров форекс фактори, бингуру и другие — этим занимаются все и далеко не у всех выходит.
Сокращается количество входов из-за фильтров, в итоге ПнЛ падает до минусов, еджа нет — классика.

2. с использованием МЛ как ранжировщика сигналов
Привожу реально пример рабочей стратеги, которая у меня крутится.

Один из сигналов, очень простая тема
Болик 40 средняя, 2 отклонение
Сигнал лонг:
 - часовой ТФ, цена выше средней — тренд верх
 - 15 минутка, аналогично — тренд верх
 - 5 минутка — цена вылетела за нижнюю ленту и вернулась в кишку болика

Аналогично шорт — только зеркально.

Без МЛ делаем бектест — винрейт, 1.5 атр, РР 1 к 2 винрейт 30-33% на битке, ефире... топчимся на одном месте на дистанции по итогу.
Если мы идем в историю без МЛ, мы начинаем делать фильтры как описывал выше, чтобы увеличить винрейт путем сокращения кол-во сделок — что часто не устраивает + потеря кучу времени.

С МЛ — мы идем в разметку данных и обучение, чтобы модель отобрала нам сама где говно сигнал, а где нет и дает вероятность отработки в% и свою уверенность (эти вещи мы можем калибровать даже и решать на каком пороге мы будем трейдить)
Делаем фича инжиниринг — это пожалуй самый сложный этап всего этого дела.
Нам нужно накинуть такие фичи/признаки для модели на вход в обучение, чтобы она нашла нелинейные или линейные зависимости.
В данном случае накидываем все что связано с углами наклона линий болика, ширина кишки, логарифмы % нахождения цены от линий — позиция цены в кишке, обьемы, тени свеч, показания атр, цвет свеч, сессия, время, день недели и куча всего другого...но главное не переборщить, с количеством этих фичей.
Нам нужно реально понимать что влияет на наш сигнал.

По итогу обучения получаем:
Выход каждого такого сигнала точки входа с вероятностью отработки — которая выдает модель, фильтруем только высоковероятностные сигналы, скажем все что выше 70% мы забираем в работу..
Итого — вин рейт поднялся с 33% до 57% с РР 1 к 2.
Архитектура сетки — LSTM, CNN, Temporal Fusion Transformer (CNN бейзлайн, транс и лстм как правило мощнее и лучше на временном ряде)
Метод обучения — обучение с учителем

Что нужно было сделать, чтобы стратега заработала без МЛ — наложить кучу фильтров, хардкод с большой вероятностью убил бы едж, на то он и хардкод, он не гибкий...
Здесь у нас гибкость и предсказуемость результата и получение вероятностей отработки, который можно и через монте карло прогнать и вский ММ откалибровать как нужно итд + масштабируемость и нет необходимости каждую неделю править хардкод.

Делаем таких десяток, сотни стратег, обвязываем в систему из десяток или сотни моделей — специализатор на каждый сигнал.
Ну а далее масштабирование на другие инструменты зрелые, ну а не для незрелых свои стратеги понятное дело.
___

Чтобы разобраться как работает весь цикл от данных на обучение до выхода, мне потребовалось где то полгода, каждый день самостоятельного обучения и тесты тесты тесты.
Ранее без ЛЛМ люди учились этому годами. Сейчас мы экономим время на изучения синтаксиса языка и изучение задротской математики.
Ни строчки кода не было написано руками, все делается на питоне.
Стоит ли оно того — Оно того стоит...
____

Сейчас играюсь с локальными SLM/LLM — квантованные квены для документаций по коду итд.
В скором времени хочу добраться до файнтюна их, но все это гораздо сложнее, чем темы, которые я описывал выше.

Видится, развитие такое, чтобы не пытатся/пыжится сразу в файнтюн играться (накидываю ключевых слов):
 - классика машинного обучения, простые алгоритмы — можно взять современный градиентый бустинг  и классика — лог регрессия, остальные нахер
обучение с учителем и без учителя, кластеризации, ближайщие соседи, входящие данные на модель (как подготавливать и размечать), мета лейблинг/таргеты для предикта, задача регрессии, классификации, мультикласификации, нормализация данных для входа/скалеры, правильный сплит выборок — трейн/валидация/тест, инференс, дрейф данных, дата ликаж-утечка данных, калибровка вероятностей — изотоническая регрессия/плат сканинг

Далее глубокое обучение — Deep Learn, это уже нейросети, сверточные, реккуретные, трансформеры
как готовить для нейронок данные, вектора, эмбэддинги, тензоры, секвенции, нарезка темпоральных окон последовательностей

Обучение с подкреплением — функци ревардов, подготовка среды итд итп
и вот только потом файнтюн LLM/SLM локальных, к этому вот сейчас подбираюсь, в этом году точно оседлаем этого коня.
Тогда можно будет самому агентов нужных пилить, не завися вообще ни от кого и ни от чего.... но сразу кидатся в RL и тюн LLM — не знаю не знаю, мне кажется это плохой вариант, так как все из классики там нужно будет (кластеризации, ближ соседи, скалинг, нормализации, калибровки изотоником итд)

smellmybum
Я себе на днях устанавливал расцензуреный дипсик Р1 на 8 млрд параметров. И это... ну скажем так не самый лучший выбор) На мои суициадальные запросы он советовал нечто вроде накидаться настойкой полыни, или уйти в лес, чтобы меня покусали бешеные животные. И это все вперемешку с английскими и китайскими буквами.

Расцензуренность, как я понял, бывает двух видов:
1. Полное отключение на уровне весов способности модели не ответить. Т.е. она будет пороть любую дичь, лишь бы дать хоть какой-то но ответ. Соответственно качество такой инфы будет никакое. Я пробовал подбирать ему разные промты, но он упрямо на пикантные темы нес откровенную ахинею. 

2. Обучение на зацензуренных датах. Это модели типа Dolphin и Hermes (эти еще пока не тестил, но по отзывам очень достойные)

ViraBhadra
Насяльник твоя инфа золото, можешь пожалуйста подсказать ресурсы где ты все это отточил? 

Курсера, или какие то иные курсы, книги? 

Сейчас ток ток для себя все это вскрываю

Artemkickbox

Все в перплексити касательно инфы + разные статьи, исследования.
Потом кодил через Клода в юпитере, деплой уже через обычный VSCode делал модули... в общем нужно осознать что код не проблема, незнание математики тоже.
Раньше без ИИ и ЛЛМ это реально было проблема, там мягко говоря пздц какой порог входа был, сейчас нет.

Курсов не проходил именно по дата саентизму и мл инжинирии...ибо пытался, но там просто начинают душить математикой, аж до блевоты.
В итоге сразу в бой и в практику, через набивание шишек.

У меня что то было в закладках не от задротов, посмотрю и поделюсь.
Ну и плюс кидану мб карту, чтобы весь конвеер осознать и можно было к ЛЛМ сходить и нахерачить пайплайн сразу уже...
Начать можно с ключевых слов которые я начертил выше

Artemkickbox

самое сложное начать, думаю я бы сейчас начал как — пошел бы на kaggle, там есть задачи и кейсы и датасеты и попробовал бы на них потренится.

Например лежит таблица с данными по людям, нужно сделать предикт отдаст человек кредит или нет
или лежит там пачка номеров и нужно сделать прогноз дозвонимся мы по номеру или нет — протухший контакт или нет.

Есть задачи на аномалии итд, выбрать что попроще и попробовать обучить градиентный бустинг — понять суть всего этого цикла.
Дальше переходить к временному ряду и трейдингу и пробовать там, если цель в трейде конечно.
Почему не сразу временной ряд, это сложнее для понимания и тут я бы начал сразу с LSTM (реккуретная сетка которая хорошо ловит последовательности, а временной ряд это то что нам надо в трейдинге, привязка к времени каких то значений — цены в данном случае), а это нейронки и уже не табличные данные, там матрицы и вектора, которые глазами нашими вообще хер поймешь что это ))...по сути они описываются функциями — кароче визуала нет — можно так сказать, нейронка любит именно такой корм, наши глаза нет ).

ViraBhadra

Красавчик, классный подход, буду нагонять) 

Не стреляйте в пианиста — он играет как умеет 

А так, конечно, чудес не бывает, к сожалению. Наша задача: чтоб модель модель с условными дохреналлионными параметрами можно было локально запускать на стареньком ноуте, который издает звуки как самолет который идет на взлет. Увы, так (пока что) нельзя. Поэтому приходится выкручиваться, подбирать модель, промптить и т.д.

Понятно что 7-8b параметров — это очень мало в абсолютном плане. Но вполне достаточно для каких-то иных задач. Поэтому надо тестировать много разных моделей: ибо те же расцензуренные модели отличаются друг друга. Это изначально расцензуренная модель, которая так обучалась сама без человеков (Типа BERT)? Или по-другому? А как модель тюнили? Какую модель? И т.д. и т.п. 

Поэтому, опять же, нужно тупо тестировать разные модели для своих задач. И не секрет что модель с бОльшим кол-вом параметров в целом будет лучше себя показывать, хоть корреляция и не четкая 1 в 1. Т.е., тот же R1 учитель и ученик Qwen 32b (дистиллирование / дистиллятов если брать) уже могут по-другому себя показывать. Но уже больше вложения в сетап чтоб с такой моделью локально работать хоть как-то

Ну и маленькие модельки на английском же учатся, русский могут понимать как таджик

smellmybum
Мне это напоминает детские мультики про домовых, у всех была специализация — один полы мыл, другой окна, третий пауков гонял, четвертый жрал все в холодильнике

Мы это уже собственно обсуждали, это невероятно тупо брать СверхМодель с триллионом параметров и чтобы она в Обсидиане искала какое-то слово

Щас самое прикольное подбирать вот этих домовых под масенькие задачи. Все как в Рик и Морти

— В чем цель моего существования?
— Масло подавать
— Твою дивизию...

Да, ничего не поменялось, в принципе. Вот с Обсидианом хороший пример, ты приводил. Я вот сейчас ради спортивного интереса думаю куда можно пристроить smollm на 135м параметров. Братан хоть и дурень, но не настолько, как может показаться. На что-то он способен. Насколько это оправданно — это еще предстоит выяснить

Да и вообще, у нас ИИ ассоциируется строго с LLM/SLM. А тот же hugging face — это просто целый мир:



Столько всего народ наклепал. Жизни не хватит чтоб все попробовать

Хватит хватит, «клод какая модель лучше для название_задачи», хватит нас на все 

Еще и время останется, много времени