Компания OpenAI анонсировала создание IndQA — новой системы оценки, которая проверяет, насколько хорошо искусственные модели понимают и рассуждают о индийских языках и культуре. Эта оценка направлена на изучение не только перевода, но и более глубокого понимания контекста и культурных вопросов.
Согласно заявлению OpenAI, их миссия заключается в том, чтобы искусственный интеллект служил на благо всего человечества. Для этого модели должны быть эффективными в различных языках и культурах.
IndQA включает 2,278 вопросов на 12 языках, включая бенгали, хинди, телугу и тамильский. Вопросы были разработаны 261 экспертом из Индии и охватывают такие области, как архитектура, история и спорт. Ответы оцениваются с помощью продвинутых моделей ИИ, что помогает мониторить прогресс.
Результаты показали, что модель GPT-5 достигла наивысшего результата среди всех, однако OpenAI предостерегает от прямых сравнений между языками, так как они не идентичны.
IndQA также является частью более широкой инициативы OpenAI по улучшению доступности ИИ в Индии, где ChatGPT является вторым по величине рынком.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена