itProger Видеокурсы Курс Machine Learning / Машинное обучение с нуля #8 – Доработка ML агента в Unity

#8 – Доработка ML агента в Unity

В уроке мы завершим работу над Unity проектом и реализуем процесс визуального машинного обучения. Наш агент будет двигаться и обучаться в зависимости от того где будет находиться цель.

Видеоурок

Запуск обучения

Итак, у нас уже есть агент, сцена, скрипт и конфигурация обучения. Теперь пора всё это связать и запустить процесс обучения.

Первое, что нужно сделать — открыть терминал и перейти в папку с вашим YAML-файлом ball_config.yaml. Убедитесь, что в Unity уже открыта сцена и объект шара активен.

Далее в терминале запустите команду.

После запуска команда начнёт слушать Unity. Но обучение ещё не началось — Unity ждёт, когда вы нажмёте «Play».

Теперь просто вернитесь в Unity и нажмите кнопку Play. Unity соединится с Python, и начнётся тренировка агента.

Что происходит при обучении?

Когда сцена запускается, агент начинает движение. Он пробует разные варианты: куда двигаться, с какой силой. Сначала его движения будут совершенно случайными. Он может просто катиться куда попало или упасть за границу. Но постепенно, после каждого эпизода, он получает обратную связь — награду или штраф.

Если он находит цель — получает +1. Если уходит за пределы — получает -1. Всё это записывается, и Python-библиотека использует эти данные, чтобы изменить поведение модели.

С каждым новым эпизодом агент становится умнее. Он уже начинает понимать, где цель, как до неё добраться быстрее, как не упасть. Если вы оставите обучение на 10–15 минут, вы заметите, как шар будет катиться прямо к цели, как будто знает, где она заранее.

Программа обучения

Без хороших знаний языка Python вам не удастся делать машинное обучение. Поэтому, если вы плохо разбираетесь в программировании, мы рекомендуем вам пройти наш обширный курс по изучению Python.

В ходе этой большой программы обучения вы освоите более сложные концепции языка Python, научитесь создавать полноценные программы, освоите процесс разработки веб-сайтов и получите дополнительное знание в области искусственного интеллекта. За время курса вы научитесь разрабатывать сайты разных типов, создавать приложения, реализовывать крутые консольные проекты, и к концу обучения у вас будет достаточный багаж знаний, чтобы начать создавать собственные проекты в различных жанрах.