ChatGPT, Claude и Gemini на узбекском, кыргызском, армянском и грузинском

Коротко

Все три модели работают на узбекском, кыргызском, азербайджанском, армянском и грузинском. Но насколько хорошо, зависит от языка, версии модели и задачи, а публичные данные по этим пяти языкам очень неровные.

Мы собрали опубликованные бенчмарки на 29 октября 2026 года. Своих замеров на этих языках мы не публикуем, все цифры ниже взяты из чужих работ, и у каждой указан источник, дата и версии моделей.

• Узбекский. Лидерборд UzLiB, обновлён 14 октября 2026 года. Впереди семейство Gemini (Gemini 4 Argon набрал 0,84), у GPT-6 Luna 0,81, у Claude Sonnet 5.5 0,78. Это свежие версии моделей.
• Кыргызский. В KyrgyzLLM-Bench (июль 2026) среди закрытых моделей первым стал Claude 4.5 Sonnet, вторым GPT-5.1. Gemini 2.5 Flash отказывался отвечать на безобидные вопросы на кыргызском, и авторы просят не доверять его баллу.
• Азербайджанский. Свежего сравнения трёх моделей мы не нашли. Последнее было в TUMLU, на моделях 2024 года: Claude 3.5 Sonnet 84,4%, GPT-4o 82,4%, Gemini 1.5 Pro 78,6%.
• Армянский. В ArmBench-LLM 1.0 (апрель 2026) первое место у Gemini 3 Flash, второе у GPT-5.2 Pro. Claude 4.5 и 4.6 из рейтинга исключили из-за нестабильных ответов.
• Грузинский. В GeoLogicQA (2025) Gemini 2.5 Flash решил 83% задач, GPT-4o 64%. Claude там не проверяли.

Для бизнеса вывод один. Бенчмарк подсказывает, с каких двух-трёх моделей начать. Выбирать модель для бота всё равно приходится на своих переписках: с вашими товарами, вашей смесью языков и вашими ошибками.

Что измеряют эти бенчмарки

Почти все работы ниже устроены как экзамен с выбором ответа. Модель видит вопрос и варианты, называет букву, баллом служит доля верных ответов. Так удобно сравнивать десятки моделей, но проверяется знание языка и предметов, а не умение вести переписку.

Чего в бенчмарках нет:

• клиента, который пишет латиницей без апострофов, а потом переходит на русский;
• опечаток, голосовых и сокращений из мессенджера;
• ваших названий товаров, филиалов и тарифов;
• правила «не знаешь, передай менеджеру»;
• тона: можно знать грамматику и при этом отвечать как переводчик инструкции.

Поэтому дальше важно, что именно проверяли, а место в рейтинге вторично.

Узбекский: UzLiB

UzLiB проверяет знание узбекской лингвистики: правильное написание слова, значение, значение в контексте, подстановку слова в пропуск. Вопросы взяты из викторин узбекских Telegram-каналов о языке, вручную выверены и переведены на латиницу. Генерацию запускали с temperature=1.0, как в обычном использовании.

Данные: лидерборд UzLiB, версия от 14.10.2026. Случайный выбор даёт 0,25. Балл людей авторы считают иначе: это средняя доля верных ответов по каждому вопросу у тех, кто отвечал на викторину.

Что видно из таблицы. Разница между тремя семействами в общем балле небольшая, а в отдельной задаче большая: подставить слово в пропуск у GPT-6 Luna получилось заметно хуже, чем у Gemini. Ещё интереснее нижняя часть лидерборда. Старшие модели прошлых поколений не гарантируют хорошего узбекского: у Claude Opus 4.5 0,60, у GPT 5.2 0,66. Версия модели меняет результат сильнее, чем бренд.

Кириллицу, смешанную речь с русским и стиль переписки UzLiB не проверяет. Для бота в Ташкенте это как раз главное.

Кыргызский: KyrgyzLLM-Bench

KyrgyzLLM-Bench собрали исследователи из Кыргызстана, России и Канады, препринт вышел 19 июля 2026 года. В наборе два датасета, написанных сразу на кыргызском: вопросы Общереспубликанского тестирования по школьным предметам и медицине (KyrgyzMMLU) и понимание текста (KyrgyzRC). К ним добавлены переведённые и вычитанные людьми WinoGrande, HellaSwag, BoolQ и TruthfulQA. Закрытые модели прогоняли на сокращённой версии: по 100 вопросов на предмет.

* Авторы пишут, что Gemini 2.5 Flash отказывался отвечать на безобидные вопросы на кыргызском из-за фильтров безопасности, поэтому его баллы занижены.

Три вывода из статьи пригодятся бизнесу.

Во-первых, понимание текста почти на потолке. Если дать модели абзац и спросить по нему, сильные модели в среднем отвечают верно в 91–95% случаев. Это хорошая новость для ботов, которые отвечают по базе знаний: модель читает ваш документ, а не вспоминает факты.

Во-вторых, знания «из головы» на кыргызском заметно слабее. По предметам KyrgyzMMLU даже лидер набирает 67–69%.

В-третьих, поведение закрытых моделей нестабильно. У GPT-5.1 на BoolQ точность после добавления примеров в промпт упала с 88% до 13%. Модель не разучилась языку, она стала отвечать не в том формате. На живом проекте такие сбои ловят только регулярные проверки.

Модели в этой работе на поколение старше текущих. Порядок мест на свежих версиях может быть другим.

Азербайджанский: свежих сравнений нет

Самое полное сравнение даёт TUMLU, бенчмарк по девяти тюркским языкам, принятый на ACL 2025. Вопросы взяты из школьных и вступительных экзаменов и написаны носителями, а не переведены. Авторы прогоняли модели с пятью примерами и temperature=0.

Данные: TUMLU, таблица 2.

Азербайджанский в TUMLU даётся моделям легче кыргызского и узбекского. Но это модели 2024 года. Опубликованного сравнения GPT, Claude и Gemini текущих версий на азербайджанском мы на 29 октября 2026 года не нашли. Если вам называют «лучшую модель для азербайджанского», спросите, на чём это проверено.

Армянский: ArmBench-LLM

ArmBench-LLM 1.0 выпустила ереванская лаборатория Metric AI 2 апреля 2026 года. Это уже не один экзамен: в наборе классификация, вопросы с выбором ответа, исправление грамматики и пробелов (полезно после OCR), пересказ, перевод, понимание текста, армянские вузовские экзамены.

• Первое место у gemini-3-flash-preview: 0,635.
• Второе у gpt-5.2-pro: 0,617.
• Claude 3.7 Sonnet: 0,607.
• Claude 4.5 и 4.6 из рейтинга исключили. Авторы пишут, что ответы этих версий были нестабильны и баллам нельзя доверять.

Две находки авторов важны для бюджета. Gemini 3 Flash на армянском обошёл более дорогой Gemini 3 Pro, хотя в общих рейтингах всё наоборот. А прогон всего бенчмарка на Gemini 3 Flash стоил им $3,28 против $160,20 у GPT-5.2 Pro. Часть разницы даёт токенизатор: армянский текст разные модели режут на разное число токенов, и один и тот же ответ стоит по-разному.

Грузинский: GeoLogicQA

GeoLogicQA сделали в Тбилисском государственном университете. Это 100 задач на логику и рассуждение на грузинском, адаптированных из олимпиады «Кенгуру» и вычитанных носителями. Работа опубликована на воркшопе по малоресурсным языкам при RANLP в сентябре 2025 года.

Claude в этой работе не тестировали, а GPT представлен моделью 2024 года. Сравнения трёх текущих моделей на грузинском в диалоге с клиентом мы не нашли. Сто задач по логике мало говорят о том, как модель ответит покупателю про доставку в Батуми.

Сводка по пяти языкам

Одной модели, которая лучше всех на всех пяти языках, по этим данным нет. Лидер меняется от языка к языку и от версии к версии.

Почему этого мало для выбора модели

Возьмём магазин бытовой техники в Ташкенте. Клиент пишет: «Assalomu alaykum, konditsioner 12 lik bormi? yetkazib berish Chilonzorga qancha». Потом добавляет по-русски: «и рассрочка есть?». Чтобы ответить, модели нужно понять латиницу без апострофов, русский, разговорную форму «12 lik», найти товар в каталоге, назвать цену доставки по тарифу магазина и не придумать условия рассрочки.

Ни один бенчмарк выше этого не проверяет. UzLiB скажет, что модель знает узбекскую грамматику. Он не скажет, назовёт ли она правильный срок доставки.

Ещё три причины проверять самим:

• Версии меняются быстрее статей. Между KyrgyzLLM-Bench и сегодняшним днём вышли новые версии всех трёх моделей.
• Фильтры и формат важнее знаний. Отказ Gemini на кыргызском и провал GPT-5.1 на BoolQ говорят о поведении модели, а не о знании языка. В переписке такой сбой выглядит как молчание бота или ответ «не могу помочь».
• Цена зависит от языка. Армянский и грузинский алфавиты часто режутся на большее число токенов, чем русский текст той же длины. Один и тот же диалог стоит по-разному у разных моделей.

Как проверить модель на своих переписках до запуска

Это наш обычный подход: прежде чем выбрать модель, собираем набор проверок из реальных вопросов клиента. Подробно про evals есть в статье Что такое evals и зачем они AI-проекту. Для языковой задачи порядок такой.

1. Соберите 50–100 настоящих сообщений. Из Telegram, WhatsApp, Instagram, из чата операторов. Обезличьте телефоны и имена. Разложите по языкам так, как пишут ваши клиенты: латиница, кириллица, смесь с русским, с ошибками.
2. Запишите эталон. Для каждого сообщения: что должен сделать бот (ответить, уточнить, передать человеку), какие факты обязательны, на каком языке отвечать.
3. Добавьте неприятные случаи. Вопрос, на который в базе нет ответа. Просьба о скидке. Жалоба. Сообщение наполовину на русском. Для голосовых каналов — 10–20 записей, распознавание проверяется отдельно.
4. Прогоните две-три модели. Возьмите кандидатов из бенчмарков выше: для узбекского и армянского в списке точно должен быть Gemini, для кыргызского Claude. Один промпт, одна база знаний, одинаковые настройки.
5. Оцените ответы с носителем языка. Сначала вручную, по простым меткам: «верно», «факт выдуман», «не тот язык», «звучит как машинный перевод», «надо было передать человеку». Когда меток станет много, часть проверок можно поручить модели-судье, но сверить её с человеком.
6. Посчитайте цену диалога. Токены на вашем языке у разных моделей отличаются. Сравните не цену за миллион токенов, а цену типичного разговора.
7. Оставьте набор после запуска. Каждая новая версия модели и каждая правка промпта прогоняются через тот же набор. Ошибки из живых диалогов добавляются в него.

Так мы работаем с казахским. В базе знаний Magnum для сотрудников 32 проверки из 160 написаны на казахском, и они прогоняются при каждом изменении. Как язык, каналы и смешанная речь влияют на проект в целом, разобрано в статье Разработка ИИ в Казахстане.

Если нужен ИИ-агент на узбекском, кыргызском или армянском, проверку моделей мы делаем в первые дни пилота, до интеграций. Тогда спор «какая модель лучше» решается цифрами на ваших сообщениях. Этапы всего проекта описаны на странице внедрения ИИ.

FAQ

Источники

1. Tahrirchi. UzLiB Leaderboard. Обновление от 14.10.2026. Баллы моделей на узбекском лингвистическом тесте.
2. Turatali T., Turdubaeva A., Izmailov R., Alekseev A., Nikolenko S. KyrgyzLLM-Bench: Benchmarking Kyrgyz Language Understanding. arXiv, 2026. Результаты Claude 4.5 Sonnet, GPT-5.1 и Gemini 2.5 Flash на кыргызском, отказы Gemini.
3. Isbarov J. и соавторы. TUMLU: A Unified and Native Language Understanding Benchmark for Turkic Languages. ACL 2025. Баллы на азербайджанском, кыргызском и узбекском.
4. Metric AI Lab. ArmBench-LLM 1.0: Benchmarking LLMs on Armenian Language Tasks. Hugging Face, 2026. Рейтинг на армянском, исключение Claude 4.5/4.6, стоимость прогона.
5. Koberidze I., Elizbarashvili A., Tsintsadze M. GeoLogicQA: A Benchmark for Evaluating Logical Reasoning in Georgian. LowResNLP, RANLP 2025. Точность моделей на грузинских задачах.