Трамп помиловал шестерых граждан США, осуждённых при администрации Байдена

Азербайджан сохраняет лидерство на Южном Кавказе в сфере БПЛА - Geopolitical Monitor

Более 30 тыс. сотрудников Mercedes-Benz вышли на акции протеста в Германии

Венгрия согласилась на следующий этап переговоров ЕС с Украиной

Все новости

© 2004 - 2024 Все права защищены.

Технология

Главная
Технология

Искусственный интеллект заставили играть в игры

4 марта 2025

17:12

Американские исследователи использовали видеоигры, чтобы оценить эффективность моделей искусственного интеллекта (ИИ).

Как передает Vesti.az, об этом сообщает издание TechCrunch.

Об изобретении нового бенчмарка, который позволил бы оценивать качество ИИ, рассказали специалисты компании Hao AI Lab, созданной на основе Калифорнийского университета в Сан-Диего (США). Они попробовали узнать большее о моделях ИИ с помощью легендарной игры-платформера 1985 года Super Mario Bros. («Супербратья Марио»).

Разработчики создали фреймворк GamingAgent, с которым «заставили» модели воспроизводить и симулировать игровой опыт. Перед этим тестируемые модели получили информацию об игре и правилах с помощью скриншотов. Специалисты заметили, что игра «Марио» заставила каждую модель учиться, принимать решения на скорость и создавать игровую стратегию.

Лучше всего в тестах показала себя Claude 3.7 от Anthropic, немного уступили ей Gemini 1.5 Pro от Google и GPT-4o от OpenAI. Исследователи пришли к выводу, что даже самая успешная модель «играла» хуже, чем любой начинающий геймер. Скорее всего, это связано с тем, что любой модели нужно иметь как минимум секунду на принятие решения, однако «Марио» не давала им такой возможности.

Сооснователь OpenAI и известный ученый Андрей Карпатый прокомментировал в X исследование коллег, заметив, что не знает, как правильно оценивать ИИ в 2025 году. По его словам, пока не существует конкретных метрик эффективности моделей генеративного искусственного интеллекта.