Помню, как в конце 2023 года все кинулись проходить курсы по промптингу, а уже в 2024-м промпт-инженеринг похоронили под лозунгом, что языковые модели потому так и называются, что они понимают обычный язык и все эти сложности им не нужны. Но промпты как работали, так и работают до сих пор, а люди как недооценивали их важность, так и... ну, вы поняли.
С другой стороны, я не советую проходить все эти курсы по промптингу, так как в свободном доступе информация и актуальнее, и качественнее. Вот, например, мой любимый сайт по промптингу —
www.promptingguide.ai. Рекомендую начать своё погружение именно с него.
Ну и 10 советов для новичков и не только:
1. Примеры работают лучше инструкций. Модели лучше распознают паттерны, чем следуют правилам (за исключением рассуждающих LLM вроде o1).
2. Системные промпты — фундамент. 90% проблем возникают из-за слабых системных промптов. Отточите их, прежде чем браться за пользовательские промпты. Вот тут куча системных промптов для изучения.
3. Ваша экспертиза в предметной области намного важнее навыков создания промптов. Например, когда инструкцию для медицинского ИИ-агента пишут врачи, результаты сильно лучше. Профильные эксперты оперируют такими нюансами, о которых не догадываются промпт-инженеры.
4. «Цепочка рассуждений» (Chain-of-thought) — не всегда лучший выбор. Сложные цепочки рассуждений часто работают хуже, чем прямые инструкции. Начинайте с простого, усложняйте, только когда улучшаются метрики.
5. Контролируйте версии промптов, как код. Помню, как изменение всего одного слова в промпте сломало воркфлоу ИИ-агента. Заставил себя делать git commit для промптов и отслеживать метрики производительности. Короче к работе над промптами надо относиться, как к продакшн-коду.
6. Используйте ИИ для написания промптов для ИИ. Звучит наивно, но это работает: Claude пишет промпты для Claude лучше, чем я. Пусть модели самим оптимизируют инструкции для себя.
7. Многие сильно недооценивают настройку температуры. Все помешаны на промптах. Тем временем, иногда изменение температуры с 0.7 до 0.3 хорошо решает проблемы со стабильностью ответов.
8. Тестовое покрытие важнее качества промпта. Часто тестируя разные сценарии обнаруживал, что мой «идеальный» промпт сыпался в 30% случаев на больших объемах. Теперь использую автоматизированную оценку с валидацией человеком (human-in-the-loop).
9. Не забывайте оптимизировать инструкцию под конкретную модель. Промпт для GPT-4o не всегда подходит к Claude или Llama. У каждой модели свои особенности. То, от чего GPT выдает качественный ответ, заставляет Claude галлюцинировать.
10. Делайте защиту от инъекций в промпт сразу. Каждый промпт в продакшене нуждается в тестировании на инъекции. Один хитрый пользовательский запрос способен сломать всю вашу систему.
не, я не сноб в этом плане. Они обкатывают на людях обновы, выпускают сырое. Нужно для работы и удобства — одно. Ну и они обновами режут производительность OS. Да и железо не успевает за ноу-хау.
Прям из себя вышла. Путинистка.
1