Інструменти

Як зменшити витрати на ШІ: платіть моделі лише за рішення, що її потребують

Це переклад. Основна версія — оригінал англійською; посилайтеся на неї.

Vadym Chernets · відкритий код · 6 хв читання

Decidecall обробляє невеликі рішення, які компанія приймає раз за разом (якій команді надіслати це повідомлення, затвердити або повернути, терміново чи ні), і відповідає на кожне найдешевшим способом, якщо він достатньо надійний. Раніше дана відповідь йде першою, потім просте правило, потім модель, що працює на вашому комп'ютері; лише те, що залишилось, йде платній моделі, а те, у якому модель не впевнена, йде до людини. Відповідь людини запам'ятовується, тому один і той же вопрос ніколи не коштує двічі.

Decidecall — це безплатний плагін з відкритим кодом для Claude Code, помічника ШІ Anthropic, який працює з файлами на вашому комп'ютері. Він не потребує власного облікового запису, карти та ключа API (коду доступу, що його використовують програми для звернення до ШІ): платна модель досягається через програму, яку ваша компанія вже встановила та авторизувалась в ній.

Чому більшість рішень ніколи не потребують моделі

Багато команд, які починають з ШІ, відправляють кожне повідомлення до моделі. Це працює, і ви платите за один і той самий відповідь знову і знову: "де мій рахунок?" надходить до підтримки кожен день, і слово "рахунок" вже говорить, що це йде в розрахунки. Tian Pan описує команду, яка кілька місяців запускала модель для маршрутизації квитків підтримки, перш ніж помітити, що 70% квитків мали назву продукту в рядку теми, і простий справочник міг би маршрутизувати їх з точністю 99%.

Дослідники вимірили цю ж саму ідею в масштабі. Стенфордський FrugalGPT спершу звертається до дешевої моделі та переходить до більш потужної лише коли відповідь виглядає слабкою; вона відповідала якості найкращої однієї моделі при скороченні витрат до 98%. LMSYS RouteLLM, яка вибирає сильну або слабку модель для кожного питання, скоротила витрати на понад 85% на одному тесті, зберігаючи 95% якості GPT-4.

Як працює ланцюг

Кожне рішення проходить однакові шість ланок і зупиняється на першій, яка достатньо впевнена:

• Кеш: уже надані відповіді. Точна копія знаходиться навіть при різних великих літерах, пробілах і пунктуації. За допомогою невеликої моделі вбудовування на вашому комп'ютері (такої як nomic-embed-text в Ollama), також знаходиться питання, сформульоване по-іншому: "Why was my card billed two times?" знаходить відповідь на "I was charged twice this month".
• Правила: слова, які визначають відповідь, написані один раз: "invoice", "refund" або "charged" означають рахункові операції. Коли два правила вказують на різні відповіді, вони залишаються невизначеними, замість того щоб вгадувати.
• Локальна модель: модель, яка працює на вашому комп'ютері, безкоштовна для кожного рішення.
• Дешеві й потужні хмарні моделі: платні моделі, спочатку найбільш дешева допустима.
• Людина: власник рішення, якому показується наразі найкращий варіант.

Кожна ланка надає відповідь із рішенням і впевненістю, числом від 0 до 1. При 0.95 чи більше, відповідь приймається. Нижче того запитується наступна ланка, і коли дві різні джерела погоджуються (і принаймні одне з них впевнено на 0.70 чи більше), це вирішує справу. Дві ланки, що запускають одну сім'ю моделей, ніколи не підтверджують одна одну, а семантичний збіг у кеші слугує лише пропозицією, яку має підтвердити інша ланка. Коли нічого не впевнено, людина приймає рішення, і її відповідь записується в кеш. Ви можете змінювати обидва пороги.

Один вид рішення — це один невеликий файл: питання, можливі відповіді, слова, що його вирішують, і наскільки впевнена повинна бути ланка. Той самий формат працює для сортування повідомлень підтримки, "approve or send back" для заявок на видатки або "urgent or not" для вхідної пошти.

Практичний приклад: 65 повідомлень підтримки

Репозиторій містить папку вхідної пошти підтримки для чотирьох команд (розрахунки, технічна, облік та продажи): 65 повідомлень від клієнтів з повторами, як у реальній підтримці. 2 жовтня 2026 р. ланцюг було виміряно на ньому двічі (повні результати):

Без будь-якої моделі більше половини вхідної папки було відсортовано безплатно без помилок (перезапущено 10 жовтня 2026 з тим же результатом). Додавання Claude Haiku 4.5, малої та швидкої моделі Anthropic, залишило шість повідомлень для людини.

Звіт однаково прямо розповідає про те, що не спрацювало. Haiku помилився двічі, маючи 98% впевненість: «Я вилогінююсь кожні п'ять хвилин» попала до технічної команди замість команди облікування, і її повтор теж. Саме тому ланцюг звертається до другого, іншого джерела перед дов'єрянням повторюваній відповіді моделі. Шістдесят п'ять прикладів — це перший прохід: інструмент побудований так, щоб ви запустили той же вимір на кількох сотнях своїх минулих рішень.

Що це робить

• Визначення одного питання: відповідь, яке посилання привело до неї, наскільки впевнено, яка ціна.
• Позначення: відповідь людини потрапляє в кеш, тому вона безплатна наступного разу.
• Просування: рішення, які моделі постійно приймали однаково, підтверджені двома різними сімействами моделей, стають записами кешу, як тільки ви скажете «так»; слова, що траплялися лише з однією відповіддю, пропонуються як нові правила.
• Тестування: ваші власні позначені минулі рішення проходять через ланцюг, показуючи, скільки було розв'язано без людини, скільки були правильні, наскільки чесні були числа впевненості та ціна одного рішення порівняно з відправленням усього одній моделі.
• Кандидати: 14 програм і сервісів, які можуть забезпечувати посилання, кожна зі своєю ліцензією та сторінкою джерела.

Моделі рішень підключаються прямо

З'явилася нова модель саме для цієї роботи. Jev компанії TypeSafe, оголошена у вересні 2026, не пише текст: вона приймає ситуацію та запитання з варіантами та повертає обраний варіант з імовірністю за $0.042 на мільйон вхідних токенів (DataCamp). Відкриті моделі такого ж типу працюють на вашому комп'ютері: Strands Decider, автори якої повідомляють, що її "відповіді з впевненістю 0.9 або вище мають рацію приблизно 95% часу", та, з часу Ollama 0.35, моделі рішень, обслуговувані Ollama, безплатним інструментом для локального запуску моделей. Decidecall говорить цим інтерфейсом безпосередньо, а також зі звичайними локальними моделями (Ollama, llama.cpp, vLLM, LM Studio) та Claude через Claude Code, який у вас уже є; bench показує на ваших даних, що додає кожна.

Ваші правила щодо даних і грошей

Decidecall читає той самий файл політики компанії, що й інші плагіни компанії:

• Конфіденційні дані залишаються на комп'ютері. Позначте рішення червоним, і воно передаватиметься лише до кешу, правил та локальних моделей; Decidecall зберігає відбиток тексту, ніколи сам текст.
• Тільки постачальники, яких ви дозволяєте, або лише ті, що нічого не зберігають після відповіді.
• Щоденний бюджет: платне посилання, яке його перевищить, пропускається, а безплатні посилання продовжують працювати.
• Ключі залишаються у ланцюжку ключів, ніколи у файлі.

Це один файл Python, який потребує лише Python і не встановлює власне мережеве з'єднання, тому він працює навіть на комп'ютері, відключеному від інтернету.

Як почати

У Claude Code додайте каталог Poly A1 та встановіть Decidecall (не потрібні git та акаунт GitHub):

/plugin marketplace add https://raw.githubusercontent.com/vadimchernets/poly-a1-plugins/main/.claude-plugin/marketplace.json
/plugin install decidecall@poly-a1

Потім скажіть, що ви хочете вирішити, своїми словами: «сортувати наші повідомлення підтримки за командами», або «чи варто для нас Strands Decider». Claude ставить свої питання одне за одним (що вирішується, можливі відповіді, які слова роблять відповідь певною, наскільки певною вона має бути) і записує файл завдання з вами. Потім він запускає bench на ваших попередніх рішеннях перш ніж що-небудь буде оплачено. Decidecall потребує Python 3.8 або новішої версії і працює на Mac, Linux і Windows.

Код, приклад інбокса та вимірювання: github.com/vadimchernets/decidecall.

Де це знаходить своє місце

Decidecall є одним з плагінів компанії у каталозі плагінів Poly A1. Він працює в парі з Routecall, де потужна модель планує, а дешевші виконують обсяг, та з Billcall, який підраховує, скільки коштує компанії AI; Firmcall записує файл спільної політики. Decidecall написаний Vadym Chernets, випущений під ліцензією Apache-2.0 та архівований на Zenodo (DOI 10.5281/zenodo.23116720).

Переглянути decidecall на GitHub

Vadym Chernets також розробляє Poly A1, додаток, у якому ШІ від різних компаній перевіряють роботу один одного.