Мнение

Дело против корпоративных LLM

Трезвый взгляд на то, почему скучно лучше всего, даже для ИИ

За последние несколько недель у нас было множество индивидуальных запросов LLM от клиентов и партнеров. Это волнение, хотя и оправданное, основано на потоке технических новостей, а не на получении фундаментального корпоративного преимущества.

LLM, даже если они концептуально не далеки от большинства конвейеров обучения на основе трансформаторов, требуют гораздо более сложного оборудования для точной настройки и бесперебойной работы в корпоративной среде. Все те, которые мы уже протестировали и развернули для клиентов, хороши, но они не имеют такого блеска, как полированные коммерческие продукты, что является проблемой для бизнес-лидов.

Не поймите меня неправильно: LLM — это лучшее, что есть в ИИ со времен обучения с ускорением на GPU, но они должны быть инструментом последней инстанции, а не первым шагом в корпоративном пуле ИИ.

«Программное обеспечение становится медленнее быстрее, чем оборудование становится быстрее» — старая поговорка в компьютерных науках. Некоторое программное обеспечение легко раздуть, поскольку обычно проще добавить модули в фрагмент кода, чем удалить некоторые из них.

Когда дело доходит до ИИ, рост моделей (от моделей машинного обучения до глубоких нейронных сетей, LSTM, предварительно обученных CNN, а теперь и трансформеров) идет по тому же пути. Хотя использование лучшей в своем классе технологии имеет смысл, в некоторых ситуациях асимптотическая выгода представляет собой просто убывающую отдачу, если общая стоимость владения превышает любое выявленное преимущество.

В наших беседах с клиентами снова всплывает до жути знакомая картина: те же самые руководители, которые сегодня продвигают клоны ChatGPT, были непреклонны в отношении чат-ботов несколько лет назад. Это простая игра, чтобы получить очевидный выигрыш, не связывая его с ценностью предприятия и не требуя, чтобы кто-то думал о его обосновании. Их религиозность за «вы просто не видите ценности, но в лучшем случае это ленивый троп, а в худшем случае поглотитель ресурсов превратился в корпоративную ответственность.

В этих развертываниях возникает множество вопросов не в обосновании проектов или их осуществимости, а в обосновании того, почему начинать с самой сложной технологии, когда-либо разработанной человечеством, является правильным первым вариантом для улучшения вашего следующего квартала на 10%.

ИИ — это не волшебная пыль; он создает ценность в своих отношениях с данными, контекстом и достоверностью вывода. Надежда и молитва обычно не являются действенными стратегиями, когда речь идет о техническом долге. Игры в американский футбол выигрываются благодаря стратегии и исполнению, а не пасам «Радуйся, Мария».

Моя предвзятость

Меня, как инженера, беспокоят осуществимость развертывания, общая стоимость владения и соотношение цены и качества. Наши клиенты доверяют нам быть прозрачными судьями новых технологий и их приложений в организациях наших клиентов. Риски развертывания необходимо оценивать с точки зрения роста бизнеса и рентабельности инвестиций. Внедрение технологии просто потому, что она а-ля мода, обычно вызывает множество тревог, и это правильно.

Дело не в том, что у нас есть проблема (будь то этическая или экономическая) с LLM — мы любим технологии. У нас есть опыт проведения теста Роршаха для предварительно обученных моделей, создания бота для торговли гороскопами и даже создания кнопки экстренной вечеринки с диско-шарами. Технология крутая.

Однако я должен настаивать на том, что технологии не решат ваших проблем, если вы не знаете, в чем они заключаются на самом деле. Усугубляя это отсутствие видимости, инженерные проблемы, связанные с LLM, означают, что каждый типичный проектный риск теперь представляет собой экзистенциальный кризис для доставки.

Как выглядит успех

За все годы работы нашей консультации по ИИ самым большим фактором успеха внедрения ИИ были четкие показатели успеха. Это означает:

  • Бизнес-контекст был уточнен с помощью KPI;
  • Требования проекта установлены; и
  • Реализация проекта имеет установленные цели.

Системы управления качеством, естественный критерий для сравнения ваших проектов машинного обучения, требуют прослеживаемости между установленными требованиями и проверкой/проверкой, а новые методы управления требуют назначения задач «цель/ключевой результат» (OKR). Ожидания, связанные с развертыванием ИИ, должны в равной степени оцениваться по измеримым и объективным показателям успеха.

Затраты без оправданий

Особенно с LLM, стремление ИИ за последние несколько лет имело ряд сил толкания и тяги между выборными проектами и проектами по необходимости. Факультативные проекты — это весело и превращаются в крутые истории у кулера с водой; Проекты по необходимости - это монохромные костюмы, которые выполняют работу в задней комнате. Какой из них вы бы предпочли во время рыночной неопределенности?

Хороший ИИ, как и хороший дизайн, должен быть невидимым, а не центральным элементом.

Так много вариантов перед LLM

Прежде чем даже рассматривать генеративный ИИ, старые семейства моделей и конвейеров на основе трансформаторов могут дать вам эквивалентные бизнес-результаты, не нарушая банк.

Большинство вариантов использования — это базы знаний, исторический анализ и генерация идей, поэтому давайте посмотрим, какие альтернативные подходы мы можем найти.

Навигация по вашим данным

За последние несколько лет две технологии упростили интеллектуальный текстовый поиск: встраивание предложений и векторные базы данных.

Вложения предложений (или документов) действительно отличались от последних нескольких технологий встраивания слов или подслов. Осведомленность о порядке слов (благодаря позиционному кодированию) обеспечивает гораздо лучшее понимание нюансов и невероятно усложняет навигацию. Структуры сложных предложений, даже документы, можно надежно векторизовать, группировать и сравнивать.

Векторные базы данных, многие из которых имеют открытый исходный код (такие как Vald и Weaviate), уже включают в себя самооптимизацию и приближенный-ближайший поиск прямо из коробки.

Количество применений в бизнес-контексте этой простой модели ошеломляет: теперь у вас есть мини-поисковик, который может извлекать исторические предложения RFP, наиболее похожие на ваше последнее предложение, или даже находить и систематизировать соответствующие документы, необходимые для договор.

Преимущество этого подхода заключается в том, что вы избегаете галлюцинаций LLM: ранжированные результаты в первую очередь обеспечивают контекстуальную ценность, а это означает, что вам не нужно копаться дальше первых нескольких результатов для вашего ответа. Либо у вас есть прямой ответ перед вами, либо нет. Это не так обнадеживает, как задабривание темпа подсказанного ответа, информация предельно точна, и даже отсутствие стоящих результатов является показателем внутреннего состояния дел в вашей команде.

Примечание. Вам даже не нужен VD, чтобы получить выгоду от поиска по сходству. Плоский файл с косинусным сходством на самом деле достаточно быстр в многоядерной системе, чтобы его можно было использовать в корпоративных условиях. Если вы хотите попробовать это сами, я рекомендую преобразовать все ваши документы в Markdown и разделить текст между заголовками. Поздравляем, теперь у вас есть мини-поисковик.

До появления LLM (что является несколько неправильным названием; кажется, оно включает в себя все и вся, что генерирует текст), мир НЛП кишел различными приложениями и четко определенными шаблонами решений. (Посмотрите на примеры в разделе НЛП Papers With Code.)

Создание классификатора предложений или документов по-прежнему является проверенным и надежным подходом к организации данных; не последним из которых является сам процесс очистки данных, который заставляет организацию распознавать свои полупустые базы данных.

Что случилось с базовой гигиеной данных?

Я не могу не подчеркнуть: данные решат ваши проблемы с ИИ; ИИ не решит ваши проблемы с данными.

Я подробно написал об отношениях между данными, ИИ и создании ценности, а также о том, как ИИ не только генерирует идеи, но и помогает очищать заполненные паутиной цифровые архивы. В бизнес-контексте естественно иметь инерцию из-за процессов и исторической культуры. Этот туман войны возникает из-за огромного количества индивидуальных отношений между людьми для достижения успеха в видении и миссии.

Однако в этих процессах неполные формы и отсутствующие отчеты являются ожидаемыми результатами. Энергия не должна уходить на то, чтобы пропускать их, она должна уходить на то, чтобы правильно заполнить их.

Тем не менее, будущее за LLM

Ключевой вывод заключается в том, что компании, которые только начинают внедрять ИИ, в большинстве случаев должны уйти, прежде чем начать работать. Успешная реализация проекта с экономией денег — это надежная стратегия.

У LLM есть потусторонняя способность ориентироваться в сложных идеях и четко обобщать их за доли секунды, но большинство новостных статей ссылаются на наилучшие сценарии, а не на общее количество усилий, чтобы их достичь. Как и в социальных сетях, реальность часто обманчива. Если это выглядит легко, это, вероятно, не было.

Я не веду дело против корпоративных LLM; Я подаю иск против корпоративных LLM в качестве первого проекта ИИ.

Другие статьи, которые могут вам понравиться

Если у вас есть дополнительные вопросы по поводу этой статьи или нашей консультации по искусственному интеллекту, свяжитесь с нами через LinkedIn или по электронной почте.

-Мэтт.