Штучний інтелект коштує дешевше, якщо ви спілкуєтеся цією мовою

Якщо двоє людей поставлять штучному інтелекту однакове запитання різними мовами, підсумковий рахунок за послугу може суттєво відрізнятися. Згідно з дослідженням Коаліції за мовну справедливість у дослідженнях ШІ (Coalition for Language Equity in AI Research), про яке повідомило видання Rest of World, використання моделей обходиться помітно дорожче тим, хто формулює запити не англійською мовою. Фахівці назвали це явище прихованим "податком токенізатора", оскільки жоден рахунок прямо не вказує на додаткову націнку.

Моделі штучного інтелекту не сприймають слова так, як це робить людина. Спеціальний інструмент – токенізатор – розбиває вхідний текст на невеликі фрагменти, або токени. Їх можна порівняти з фішками в казино: кожен запит і кожна відповідь витрачають певну кількість фішок, а компанії здебільшого стягують плату за обсяг використаних одиниць.

Проблема полягає в тому, що різні мови потребують неоднакової кількості токенів для передачі тієї самої думки. Навіть серед 20 найпопулярніших мов інтернету найдорожчі варіанти витрачають у 1,5 – 5 разів більше токенів, ніж найекономніші. Коли ж аналітики розширили вибірку до 200 мов, різниця у вартості в окремих моделях зросла в 17 разів.

Чому мовна нерівність загрожує якості роботи ШІ

Наслідки цієї проблеми виходять далеко за межі фінансових витрат. Стартап у Києві змушений переплачувати за кожен запит і відповідь, тоді як його конкурент з Нью-Йорка не несе таких витрат. Крім того, більша кількість токенів уповільнює генерацію та зменшує доступний робочий простір моделі – так зване вікно контексту, тобто обсяг тексту, який алгоритм утримує в пам'яті одночасно.

Це схоже на роботу репетитора: здатність пам'ятати попередні помилки та пояснення студента є частиною гарного уроку– прокоментував співзасновник фонду Activate AI Пратьюш Чоудхурі.

Середні ціни в мережі АЗС «Amic Energy» станом на

Він додав, що швидке заповнення контекстного вікна мовами з низькою присутністю в інтернеті безпосередньо погіршує якість сервісу. Інструмент починає швидше забувати деталі розмови, повільніше відповідає та працює значно гірше для тих, хто не користується домінуючою мовою, якою технологію навчали з самого початку і якою розмовляють її творці.

Вплив алфавіту та шляхи подолання проблеми

Рідкісність мови – не єдиний фактор дискримінації. Дослідники виявили, що важливу роль відіграє писемність. Наприклад, астурійська мова має небагато носіїв і відсутня у величезному архіві Common Crawl, проте виграє завдяки латинському алфавіту та схожості з італійською. Натомість мови з рідкісними писемностями – бірманська, тибетська, тифінаг, кхмерська, лаоська чи ол-чикі – системно зазнають найбільших втрат майже в усіх протестованих моделях.

Багато токенізаторів досі оптимізовані для англійської та інших мов із великою кількістю даних– заявив генеральний директор Maya Research Дхімант Редді.

Він підкреслив, що корінь проблеми криється в дефіциті якісних цифрових матеріалів, але самого лише збору нових баз даних недостатньо. Хоча ціни на токени поступово знижуються, повне усунення розриву вимагає від провідних лабораторій свідомо проєктувати токенізатори з урахуванням складних писемностей і різних мовних систем.

Для виправлення дисбалансу експерти пропонують розглядати мовну ефективність як обов'язковий критерій якості продукту поряд із точністю, швидкістю та надійністю. Зокрема, розробники мають відкрито публікувати таблиці витрат для різних мов і брати на себе зобов'язання покращувати роботу з менш представленими мовними групами.