Shopify построила LLM-прокси, который даёт каждому инженеру доступ к нескольким AI-провайдерам сразу - с автоматическим переключением, когда один из них падает, меняется или исчезает. Когда Claude Fable 5 отключили, инженеры Shopify не запаниковали - прокси сам перевёл их на Claude Opus или GPT-5.5 без прерывания работы.

Фархан Тавар, глава инженерного отдела Shopify, рассказал в подкасте VentureBeat Beyond the Pilot, как компания строит инфраструктуру, которая не зависит от выживания конкретных моделей.

Ключевые элементы AI-стека Shopify

  • LLM-прокси - единая точка доступа ко всем моделям с автоматическим failover
  • Дистилляция - ученические модели, которые в 30 раз быстрее и дешевле
  • Circuit breakers - автоматические предупреждения, если модель потребляет слишком много токенов
  • Дашборд использования - прозрачность: кто, на что и сколько тратит

Прокси-слой: защита от вендор-лока

Shopify закупает токены оптом, и все пользователи подключаются к моделям через собственный прокси. Это даёт команде дашборды и автоматическое переключение: когда у одного провайдера проблемы с доступностью, пользователи «автоматически и безшовно» перенаправляются к другому.

Для любого бизнеса, который использует AI в операционных процессах, это ключевой урок. Нужно иметь систему, которая позволяет двигаться между моделями, чтобы не быть «супер-привязанными» к одному провайдеру.

Дистилляция: маленькие модели, большая выгода

Второй важнейший элемент стратегии Shopify - дистилляция. Ученическая модель обучается на учительской и становится специализированной на узкой задаче. Флагманский AI-ассистент Shopify, Sidekick, использует именно такую архитектуру.

Маленькие дистиллированные модели оказались в 2 раза дешевле и быстрее обычных, а в некоторых случаях - в 30 раз. Но дело не только в cost-эффективности: точность таких моделей на конкретной задаче часто выше, чем у универсальных гигантов.

«Мечта - чтобы пайплайн дистилляции сам предлагал целевую модель. Пользователь даёт учительскую модель, данные и критерии, а система говорит: «Вот оптимальный размер и архитектура». Может, это будет модель, которая работает на телефоне».

Circuit breakers и культура токенов

Shopify внедрила «автоматические выключатели»: если модель работает слишком долго и потребляет много токенов, пользователь получает вопрос: «Вы точно хотели это потратить?» Иногда ответ - «Да, абсолютно». Иногда - «Ого, я забыл, что оно работает, лучше остановить».

Тавар называет это переходом от «AI-рефлексивности» к «AI-рычагу»: люди начинают осознанно выбирать, где AI даёт наибольший эффект, а не используют его просто потому, что он есть.

Что это значит для бизнеса

Опыт Shopify - готовый чеклист для любой компании, которая серьёзно использует AI. Прокси-слой, дистилляция и мониторинг - это не опции, а необходимость, если AI становится частью бизнес-процессов. Для малого и среднего бизнеса во Владивостоке эти принципы применимы на любом масштабе: начинать можно с простого прокси между двумя моделями и дашборда расходов.

Автоматизация с помощью ии - это не про покупку самой дорогой модели, а про правильную архитектуру: модель-агностик подход, дистилляция под свою задачу и прозрачный контроль расходов.