Специалисты Инобра ВШЭ подтвердили эрудицию GigaChat в области социальных наук
Мультимодальная нейросетевая модель Сбера под наблюдением экспертной комиссии из ВШЭ успешно сдала ЕГЭ по обществознанию. GigaChat выполнил все задания экзамена и набрал 67 баллов.
Такой результат превышает минимальный балл для подачи в вуз (45 баллов) и средний балл по предмету в 2023 году (56,4 балла).
Об этом в рамках конференции AIJ 2023 рассказал вице-президент «Цифровых поверхностей “Салют”» Сбербанка Денис Филиппов.
В ходе испытаний проверялись способности обновленной версии GigaChat, в основе которой лежит одна из наиболее продвинутых моделей для русского языка с 29 миллиардами параметров.
Для проведения эксперимента был выбран предмет обществознание — школьная дисциплина, которая дает знания в области экономики, юриспруденции, социальных наук. Таким образом, успешная сдача этого экзамена свидетельствует о высокой степени зрелости модели в вопросах осведомленности о социальных нормах, экономических и юридических законах.
Для проверки знаний GigaChat использовались только актуальные тестовые задания 2024 года, размещенные на сайте ФИПИ. Перед экспериментом команда удостоверилась, что эти задания не применялись для предварительного обучения модели. Ответы GigaChat проверил сперва независимый эксперт НИУ ВШЭ, а затем — экспертная комиссия Института образования ВШЭ. Оценивались не только корректность постановки задач и достоверность фактологических ответов GigaChat, но и качество выполнения творческих (открытых) заданий.
Денис Филиппов, вице-президент «Цифровых поверхностей “Салют”» Сбербанка
«Для нас важно оценивать эффективность GigaChat не только по техническим метрикам, но и с точки зрения обычного человека: способен ли сервис помочь в какой-то отдельной области знаний, насколько модель сообразительна, креативна. Для такой оценки хорошо подходят тесты, используемые в системе образования, включая ЕГЭ. Результаты экзамена говорят о том, что GigaChat хорошо эрудирован в области социальных наук. Значит, наш искусственный интеллект “понимает” основные законы общества и ориентируется в вопросах морали. Это еще одно свидетельство того, что наш сервис можно использовать для решения реальных задач, связанных с фактологией: достаточно в естественной форме задать вопрос, и GigaChat выдаст точный ответ или поможет разобраться в сложной теме».
Евгений Терентьев, директор Института образования ВШЭ
«Наши эксперты оценивали знания GigaChat независимо от исследовательских и инженерных команд Сбера. Мы проверяли ответы так же, как если бы их давал обычный выпускник школы. По результатам видно, что нейросетевая модель не только обладает достаточным уровнем фактических знаний, но также способна логически мыслить и выбирать лучшее решение из возможных».
Эксперимент, аналогичный проведенному совместно с ВШЭ, скоро сможет повторить каждый желающий: разработчики GigaChat готовят к публикации на GitHub специальный скрипт. Он позволит «одной кнопкой», без необходимости вручную вбивать тексты заданий, протестировать, как нейросетевая модель Сбера сдает ЕГЭ.
Вам также может быть интересно:
От первоклашки до пенсионера: управлять своими деньгами научат всех
Минфин, Сбер и Высшая школа экономики объединяют усилия по развитию финансового рынка. Цель — научить россиян инвестировать, планировать бюджет, эффективно управлять деньгами и игнорировать мошенников. 18 октября на Московском финансовом форуме подписано соглашение о сотрудничестве в этой сфере. Его заключили заместитель министра финансов Иван Чебесков, старший вице-президент, руководитель блока «Управление благосостоянием» Сбербанка Руслан Вестеровский и проректор НИУ ВШЭ Сергей Рощин.
С помощью ученых НИУ ВШЭ и Сбера преподаватели смогут повысить качество онлайн-обучения
Ученые Центра искусственного интеллекта НИУ ВШЭ и исследователи Лаборатории искусственного интеллекта Сбербанка научились определять вовлеченность участников онлайн-мероприятий. Метод, основанный на анализе видео лица, помогает выявить, насколько слушатель заинтересован в материале. Научная статья о проведенном исследовании опубликована в рамках Международной конференции по искусственному интеллекту в образовании — AIED 2024.
Исследователи НИУ ВШЭ и Сбера добавят эмоций искусственному интеллекту
Ученые Центра искусственного интеллекта НИУ ВШЭ и исследователи Лаборатории искусственного интеллекта Сбербанка разработали специальную систему, которая с помощью больших языковых моделей сделает искусственный интеллект (AI) более эмоциональным при общении с человеком. Синтезом AI-эмоций займутся набирающие популярность мультиагентные модели. Научная работа о проведенном исследовании опубликована в рамках Международной совместной конференции по искусственному интеллекту — IJCAI 2024.
Вышка и «Яндекс» научат преподавателей российских вузов ИИ-грамотности
«Яндекс Образование» и факультет компьютерных наук НИУ ВШЭ (ФКН ВШЭ) создали совместный онлайн-гайд, посвященный промптингу — формулированию запросов к нейросетям. Он доступен всем на платформе «Яндекса» и в первую очередь будет полезен преподавателям, которые никогда не пользовались GPT в работе или только начинают применять ИИ-инструменты. Как правильно создать запрос к нейросети? Как грамотно использовать GPT-модели в образовательных целях? Какие задачи преподаватели могут решать с помощью искусственного интеллекта? Гайд отвечает на эти и другие вопросы по работе с нейросетями.
«Оставаться конкурентным специалистом без применения нейросетей может стать нелегкой задачей»
Цифровые технологии прочно вошли в нашу жизнь и продолжают стремительно развиваться. Неудивительно, что все чаще возникает вопрос, сможет ли однажды искусственный интеллект полностью заменить специалистов. О перспективах лингвистики в эпоху нейросетей рассуждает Даниил Осипов, кандидат филологических наук, доцент Школы иностранных языков НИУ ВШЭ.
Красота в деталях: ученые Вышки и AIRI разработали метод высококачественного редактирования изображений
Исследователи Центра ИИ НИУ ВШЭ, AIRI и Бременского университета разработали новый метод редактирования изображений на основе глубинного обучения — StyleFeatureEditor. Он позволяет точно воссоздавать мельчайшие детали изображения и сохранять их при редактировании. С его помощью пользователи смогут изменять цвет волос или выражение лица без потери качества изображения. Результаты работы опубликованы на самой цитируемой конференции по компьютерному зрению CVPR 2024.
ИИ и чат-боты: будущее образования уже здесь
Нейросети открывают новые возможности для образовательного процесса. Об их использовании в образовании для построения чат-ботов ученые НИУ ВШЭ рассказали на интерактивной лекции в рамках фестиваля-форума «Москва 2030». Эксперты поделились опытом разработки ИИ-помощника для студентов в рамках стратегического проекта «ИИ-технологии для человека».
Команда НИУ ВШЭ стала победителем исследовательского хакатона СберУниверситета
В хакатоне «Организация и люди: текущие вызовы и векторы развития» приняли участие более 30 исследовательских групп и индивидуальных исследователей. Представители Вышки одержали победу с проектом по изучению эффективности студенческих команд, работающих над ИТ-решениями для реального сектора экономики.
НИУ ВШЭ и Сбер провели форсайт искусственного интеллекта
Высшая школа экономики совместно со Сбером провела форсайт искусственного интеллекта (ИИ). Его первые итоги обсудили участники стратегической форсайт-сессии по поисковым исследованиям в сфере ИИ, которая прошла в Координационном центре Правительства РФ под руководством вице-премьера Дмитрия Чернышенко. Результаты форсайта лягут в основу Единой программы исследований и разработок в сфере ИИ.
Быть, а не казаться: как вырастить из ИИ профессионала
Пока ученые спорят о пользе и вреде искусственного интеллекта, молодежь активно осваивает и интегрирует нейросети в свою жизнь, приспосабливая нашу реальность к новым условиям. О том, как дообучить LLM, чтобы они смогли служить полноценными ассистентами в профессиональной среде, обсудили в Вышке на воркшопе «Большие языковые модели в науке и в жизни».