Блог

Один смысл, разная цена. Сколько стоит узбекский для ИИ?

В языковых моделях узбекский текст стоит так же, как английский, в расчёте на один токен. Однако для передачи того же смысла узбекскому языку требуется больше токенов. Мы проверили итоговую стоимость на 15 токенизаторах — от крупнейших коммерческих провайдеров до моделей с открытым исходным кодом. В исследовании мы разобрали, от чего зависит эта разница, и оценили, как на расходы повлияет переход на новый алфавит.

Что мы выяснили

  1. Узбекский текст на латинице занимает в 1,55–2,17 раза больше токенов, чем тот же текст на английском, у всех пяти провайдеров: OpenAI, Anthropic, Google, Qwen и DeepSeek. Ближе к нижней границе оказываются тексты, написанные по-узбекски, ближе к верхней переводы с английского
  2. По сравнению с русским узбекский дороже в 1,24–1,54 раза в зависимости от модели. Жанр текста на это соотношение почти не влияет, и у каждой модели оно меняется не больше чем на 8%
  3. Латиница экономичнее кириллицы: у большинства провайдеров узбекский текст на латинице занимает примерно на 6–19% меньше токенов, а у Claude оба алфавита стоят одинаково
  4. Ответы дорожают вслед за запросами: видимый ответ на узбекском в 1,7–1,8 раза дороже английского. Claude Haiku 5.5 без специальной настройки включала скрытые рассуждения, и с ними оплачиваемый ответ дорожал в 2,1–2,3 раза.
  5. У Claude Opus 5.5 и GPT-5.6 Sol одинаковый прайс, но обработать один и тот же узбекский текст на Claude стоит в 1,7 раза дороже, потому что его токенизатор разбивает текст на большее число токенов. Поэтому модели нужно сравнивать по итоговой стоимости своего текста, а не по цене за токен.
  6. После перехода на новый алфавит число токенов у пяти крупнейших провайдеров практически не изменится, отклонения не превышают 4% в обе стороны, так что дополнительных расходов на ИИ переход не создаст.
  7. Надбавка за узбекский определяется не числом его носителей, а тем, сколько узбекских текстов видели модели. Поэтому открытые узбекские корпуса работают как цифровая инфраструктура: чем их больше, тем дешевле и, вероятно, качественнее ИИ-сервисы на узбекском для всех, от стартапов до госорганов.
  8. Новый алфавит нужно снабдить данными заранее. Пока текстов в новой записи мало, модели будут знать её хуже старой. Параллельные корпуса в двух записях, открытые конвертеры и единые правила набора лучше подготовить до апреля 2027 года, а не после.
  9. В одиночку эту работу не сделать. Корпуса, морфологические словари, токенизаторы и тесты качества на узбекском под силу только компаниям, университетам и государству вместе, в диалоге с разработчиками моделей.
Как мы считали, какие тексты и модели использовали и что получилось по каждой из них, подробно описано в полной версии.

Почему один смысл стоит по-разному

Языковые модели читают и пишут текст не словами, а токенами, то есть фрагментами, на которые его режет токенизатор. Провайдеры берут плату за каждый токен по единому тарифу для всех языков, но число токенов на один и тот же смысл в разных языках разное. Английское слово обычно занимает один токен, потому что английского больше всего в данных, на которых обучали модели. Слово на языке, который встречался там реже, распадается на несколько фрагментов, и платить за него приходится больше.
Исследователи заметили, что языки дробятся неравномерно, еще в 2019–2021 годах, но тогда это считали вопросом качества. Денежным вопросом явление стало в 2023 году, когда языковые модели превратились в платные сервисы с оплатой за токен. Тогда же появились первые названия: сначала tokenization premium, то есть «надбавка за токенизацию», а позже token tax, «налог на токены».

Откуда берется налог

Разница между языками складывается из трех групп причин, и для каждого языка они сочетаются по-своему.
Первая связана с данными. Словарь токенизатора собирается по текстам, на которых его обучали, и целыми токенами становятся слова и их части, которые там часто встречались. Важно здесь не число носителей языка, а то, сколько на нем написано в интернете. Хинди, бенгальский и урду входят в число самых распространенных языков мира, но токенизаторы крупных моделей тратят на них в 3–4 раза больше токенов, чем на английский. А китайский и бирманский, оба с нелатинской письменностью, в 2023 году обходились токенизатору GPT-4 в 1,9 и 11,7 раза дороже английского: китайских текстов в данных много, бирманских почти нет.
Вторая связана с устройством токенизатора: каким алгоритмом он построен, сколько мест в его словаре и как он делит текст перед обучением. Когда исследователи обучили токенизаторы для 11 языков Юго-Восточной Азии на одних и тех же данных, изменение одного только алгоритма сократило разрыв между языками примерно на треть. Похожий эффект дают решения провайдеров: при переходе OpenAI с токенизатора GPT-4 на токенизатор GPT-4o число кириллических токенов в словаре выросло почти в 20 раз, и украинский текст подешевел на 41%.
Третья связана со свойствами самого языка: длинными словами с цепочками аффиксов, письменностью, вариантами написания одних и тех же букв. На суахили и зулу, где слово строится из цепочки аффиксов, модели тратят 2,6–2,8 токена на слово. Письменность тоже влияет: если перевести тексты тюркских языков с кириллицы и арабского письма на общую латиницу, число токенов сокращается на 22–41%. Но выгодна не латиница сама по себе, а та письменность, которой больше в сети: украинский в латинской записи, наоборот, дорожает на 2–19%. При этом особенности делают язык дорогим только тогда, когда словарь модели плохо его знает: турецкий тоже строит слова из цепочек аффиксов, а обходится моделям заметно дешевле узбекского.

Узбекский глазами токенизатора

На узбекском говорят около 40 миллионов человек, это второй по числу носителей тюркский язык после турецкого. Но для языковых моделей он устроен неудобно сразу в нескольких отношениях.
Начать стоит с того, как в узбекском строятся слова. Он агглютинативный, то есть слово собирается из корня и цепочки аффиксов, каждый из которых добавляет одно значение. Например, kitoblarimizdan («из наших книг») состоит из корня kitob («книга») и аффиксов множественного числа, принадлежности и направления, и одно такое слово передаёт смысл трёх английских. Если словарь модели не знает этих частей, токенизатор режет слово по частоте, а не по смыслу. В исследовании Ургенчского государственного университета глагол kulimsira («улыбаться») распадался на ku, lim, si и ra, и от корня kul («смеяться») ничего не оставалось.
Дальше в дело вступает алфавит, причем сразу два. С 1940 года узбекский писался кириллицей, в 1993 году страна официально перешла на латиницу, но кириллица до сих пор широко используется. Для моделей это не всё равно: в нашем замере тот же текст на кириллице занимал на 7–23% больше токенов, чем на латинице, у всех провайдеров, кроме Anthropic. А в самой латинице есть буквы oʻ и gʻ с апострофом, который пишут четырьмя разными символами, и для токенизатора каждый из них отдельный знак. Стандартные токенизаторы к тому же принимают апостроф за знак препинания и разрывают на нём слово, так что oʻzbek превращается в «o», апостроф и «zbek». В наших расчетах один только выбор символа менял число токенов до 5%.
И все же грамматикой и алфавитом разрыв не объясняется. Турецкий устроен так же агглютинативно и тоже пишется латиницей, но те же 30 предложений у GPT-4o заняли на турецком 609 токенов, а на узбекском 763, на четверть больше. Разницу делает словарь: модели, в словарь которых явно заложен узбекский, тратят на узбекский текст почти столько же токенов, сколько на английский.

Что изменит реформа алфавита

21 октября 2026 года президент подписал закон о новом узбекском алфавите, и с 22 апреля 2027 года oʻ, gʻ, sh и ch заменят буквы ö, ğ, ş и ç (Закон Республики Узбекистан № O‘RQ-1184 от 21.10.2026). Одной из целей реформы названо развитие языка в цифровой среде, и логично спросить, станет ли узбекский от этого дешевле для ИИ.
Мы проверили это, заменив буквы во всех наших текстах. Текст в новой записи действительно становится короче, на 4% по числу символов, но в токены это почти не переходит. У крупнейших провайдеров число токенов меняется не больше чем на 4%, причём у Claude, Gemini и Qwen оно чуть снижается, а у моделей OpenAI и DeepSeek, наоборот, чуть растёт.
Есть у реформы и приятный побочный эффект: вместе с oʻ и gʻ уйдёт путаница с четырьмя вариантами апострофа, которая сейчас стоит до 5% лишних токенов. А в долгосрочной перспективе многое зависит от того, как быстро в сети накопятся тексты в новой записи. Опыт Казахстана, который тоже переходит на латиницу, показывает, что сначала смена письменности может даже удорожать работу с моделями, пока токенизаторы не переобучат на новых текстах.

Почему общих цифр недостаточно

Нехватка узбекских текстов в данных объясняет только часть разрыва. Другую часть задают технические решения: токенизаторы крупнейших моделей собирались на текстах, где больше всего английского, и под его устройство. Поэтому выводы, сделанные для одного языка, нельзя просто перенести на другой. Каждый язык приходится изучать отдельно, со всеми его особенностями, от того, как в нем строятся слова, до того, каким символом пишут апостроф.
Не меньше значит и то, как язык живёт на практике. Узбекский пишут и латиницей, и кириллицей, а апостроф в oʻ и gʻ набирают как придется, и уже одно это меняет число токенов на проценты. Еще сильнее картину меняют задачи, которые компания решает с помощью модели. Две модели с одинаковым прайсом могут различаться по стоимости одного и того же текста в 1,7 раза, системный промпт на английском занимает в полтора-два раза меньше токенов, чем на узбекском, а модель, которая сама решает рассуждать перед ответом, может сделать ответ на узбекском ещё дороже. Поэтому общие цифры из исследований полезны как ориентир, но реальные расходы стоит считать на своих текстах и своих задачах.
2026-11-12 14:16 Статьи