Вышел из ИИ проекта и вот что я вынес

Далее постараюсь не сильно душно раскидать по пунктам

Всё еще никто не придумал, как готовить универсальных агентов (я тоже)

Люди всё еще верят в магию, о которой рассказывают ИИ вендоры. Мол, вы только подключите свои источники и нашу модель, а дальше получайте удовольствие.

По факту агенты требуют обучения (речь не про fine tuning, а про понятные инструкции). Причём, не меньше, чем выделение логики в код, но с меньшими гарантиями воспроизводимости
Начинать нужно всегда с формализации тестовых кейсов, на которых нужно прогонять любые изменения в агенте. И да, теперь тестирование стоит реальных денег, а не только «написать и запустить»
Контекст важен. Даже самые крутые модели всё равно бесполезны без нормального управления контекстом. Есть реальные исследования, где показано, что голый Claude решает значительно меньше задач, от числа, которые он может решить, находясь в обвязке ClaudeCode/ClaudeCowork. При перегрузке контекста или попытке покрыть как можно больше кейсов модель превращается в полено
Связи между данными это тоже часть контекста. Если у вас вылизанный промпт, всё обложено скилами, а набор тулов точен, достаточен и выверен, вы всё равно можете продолбаться, если для модели не очевидны связи между запросом пользователя и результатами тулов. Если у вас в ответах тулов о сотруднике и о товаре колонки носят одинаковые названия, то это вопрос времени, когда модель начнёт в них путаться
Даже крупные лаборатории тратят гигантские деньги на частичное покрытие ограниченных кейсов с непостоянным результатом. Небольшой команде с малым бюджетом и вовсе стоит покрывать конкретные единичные кейсы (одну понятную рабочую задачу) одним агентом. Сложные мультиагентные системы это enterprise уровня ERP систем. Трижды стоит подумать, нужно ли туда идти
Злейший враг любого ИИ продукта — заказчик. Заказчики сейчас это очарованные Чатом ГПТ топы. Важно заземлять таких людей предложением попробовать совместно руками закрыть желаемые кейсы силами любого существующего агента и прогнать полностью автономно этот кейс хотя бы три раза. Очень отрезвляет
Важно понимать, какую проблему вы решаете и какой будет реальный экономический выхлоп. Вариант «мы закроем проблемы наших коллег» не работает, если нет конкретного списка реальных проблем конкретных коллег, которые будут это использовать в своей работе по собственной воле. Нет заказчика — никто этим пользоваться не будет
MCP недооценены. Серьёзно. Это крутейший инструмент, позволяющий изолировать контекст и возможности. На текущий момент сложно сказать, какая еще технология позволяет использовать LLM более эффективно на уровне бизнеса