Учебник по машинному обучению для начинающих: что такое, основы машинного обучения

Что такое машинное обучение?

Машинное обучение Машинное обучение — это система компьютерных алгоритмов, способных обучаться на примерах путем самосовершенствования, без явного кодирования программистом. Машинное обучение является частью искусственный интеллект которая объединяет данные со статистическими инструментами для прогнозирования результата, который можно использовать для получения практических выводов.

Прорыв связан с идеей, что машина может самостоятельно обучаться на основе данных (то есть примеров) и выдавать точные результаты. Машинное обучение тесно связано с добыча данных и байесовское прогностическое моделирование. Машина получает данные на входе и использует алгоритм для формулирования ответов.

Типичная задача машинного обучения — предоставление рекомендаций. Для тех, у кого есть Netflix В учетной записи все рекомендации фильмов или сериалов основаны на истории действий пользователя. Технологические компании используют неконтролируемое обучение улучшить пользовательский опыт за счет персонализации рекомендаций.

Машинное обучение также используется для решения самых разных задач, таких как выявление мошенничества, прогнозирование технического обслуживания, оптимизация портфеля и автоматизация задач.

Машинное обучение против традиционного программирования

Традиционное программирование существенно отличается от машинного обучения. В традиционном программировании программист пишет все правила, консультируясь со специалистом в той отрасли, для которой разрабатывается программное обеспечение. Каждое правило основано на логическом принципе; машина выдает результат, следуя логическому утверждению. По мере усложнения системы необходимо писать все больше правил, и ее поддержка может быстро стать нерентабельной. На диаграмме ниже показан этот процесс: данные и написанные вручную правила поступают на вход, а на выходе получаются ответы.

Машинное обучение призвано преодолеть эту проблему. Машина учится понимать корреляцию между входными и выходными данными и сама пишет правило. Программистам не нужно писать новые правила каждый раз, когда появляются новые данные. Алгоритмы адаптируются в ответ на новые данные и опыт, повышая свою эффективность с течением времени. Вторая диаграмма переворачивает первую: данные и известные ответы поступают на вход, а на выходе получается правило.

Как работает машинное обучение?

С учетом этого различия, следующий вопрос заключается в том, что же на самом деле происходит на этапе обучения.

Машинное обучение — это мозг, где происходит всё обучение. Способ обучения машины похож на способ обучения человека. Люди учатся на опыте: чем больше мы знаем, тем легче нам предсказывать. По аналогии, когда мы сталкиваемся с неизвестной ситуацией, вероятность успеха ниже, чем в известной ситуации. Машины обучаются таким же образом. Чтобы сделать точный прогноз, машина видит пример. Когда мы даём машине похожий пример, она может определить результат. Однако, как и человеку, если ей дают ранее невиданный пример, машине будет трудно сделать прогноз.

Основные цели машинного обучения — это обучение и вывод результатов. Прежде всего, машина учится, обнаруживая закономерности, и это становится возможным благодаря данным. Одна из важнейших задач специалиста по анализу данных — тщательно выбирать, какие данные предоставить машине. Список атрибутов, используемых для решения задачи, называется характерный векторВектор признаков можно рассматривать как подмножество данных, используемое для решения задачи.

Машина использует алгоритмы для упрощения реальности и преобразования полученных данных в модель. Таким образом, этап обучения используется для описания данных и их обобщения в модель, как показано ниже.

Например, машина пытается понять взаимосвязь между заработной платой человека и вероятностью посещения дорогого ресторана. Оказывается, машина обнаруживает положительную корреляцию между заработной платой и посещением элитного ресторана: это и есть модель.

вывод

После построения модели можно проверить её эффективность на ранее не встречавшихся данных. Новые данные преобразуются в вектор признаков, проходят через модель и дают прогноз. В этом и заключается ценность машинного обучения. Нет необходимости обновлять правила или заново обучать модель — можно использовать ранее обученную модель для вывода результатов на новых данных, как показано на диаграмме ниже.

Жизненный цикл программы машинного обучения довольно прост и может быть кратко описан следующими пунктами:

1. Определить вопрос
2. Собирать данные
3. Визуализировать данные
4. Алгоритм обучения
5. Проверить алгоритм
6. Собирайте отзывы
7. Уточнить алгоритм
8. Повторяйте шаги с 4 по 7 до тех пор, пока результат не будет удовлетворительным.
9. Используйте модель для прогнозирования

Как только алгоритм научится делать правильные выводы, он применит эти знания к новым наборам данных.

Машинное обучение Algorithms и где они используются?

Приведенная ниже диаграмма группирует наиболее распространенные алгоритмы по типу решаемых ими задач.

Машинное обучение можно разделить на две основные области: контролируемый и бесконтрольныйМежду ними и за ними находятся еще две группы — полуконтролируемое обучение, в котором небольшой набор размеченных элементов сочетается с большим набором неразмеченных элементов, и усиление обучениягде агент учится на основе вознаграждений, а не на основе помеченных ответов.

Контролируемое обучение

Алгоритм использует обучающие данные и обратную связь от людей, чтобы изучить взаимосвязь между заданными входными данными и заданным выходным результатом. Например, специалист может использовать данные о маркетинговых расходах и прогнозе погоды в качестве входных данных для прогнозирования продаж банок.

Вы можете использовать контролируемое обучение Когда выходные данные известны, алгоритм будет делать прогнозы на основе новых данных.

Существует две категории контролируемого обучения:

• Задача классификации
• Задача регрессии

классификация

Представьте, что вы хотите предсказать пол клиента для рекламного ролика. Вы начнете со сбора данных о росте, весе, профессии, зарплате, объеме покупок и так далее из вашей базы данных клиентов. Вы знаете пол каждого из ваших клиентов, и это может быть только мужчина или женщина. Цель классификатора — присвоить вероятность принадлежности к мужскому или женскому полу (т.е. метку) на основе собранной информации (т.е. признаков). Когда модель научится распознавать мужской или женский пол, вы можете использовать новые данные для прогнозирования. Например, вы только что получили новую информацию от неизвестного клиента и хотите узнать, мужчина это или женщина. Если классификатор предсказывает мужской пол с вероятностью 70%, это означает, что алгоритм на 70% уверен, что этот клиент мужчина, и на 30% уверен, что это клиент женщина.

Метка может содержать два или более классов. В приведенном выше примере машинного обучения всего два класса, но если классификатору нужно предсказывать объекты, он может иметь десятки классов (например, стекло, стол, обувь — каждый объект представляет собой класс).

Регрессия

Когда на выходе получается непрерывное значение, задача называется регрессией. Например, финансовому аналитику может потребоваться спрогнозировать стоимость акций на основе ряда характеристик, таких как фондовый рынок, предыдущие показатели акций и макроэкономические индексы. Система будет обучена оценивать цену акций с минимально возможной погрешностью.

В таблице ниже перечислены алгоритмы обучения с учителем, с которыми вы будете сталкиваться чаще всего, и задачи, для решения которых каждый из них подходит.

Алгоритм	Описание	Тип
Линейная регрессия	Находит способ сопоставить каждую функцию с выходными данными, чтобы помочь спрогнозировать будущие значения.	Регрессия
Логистическая регрессия	Расширение линейной регрессии, используемое в задачах классификации. Выходная переменная является бинарной (например, только черный или белый), а не непрерывной (например, бесконечный список возможных цветов).	классификация
Древо решений	Легко интерпретируемая модель классификации или регрессии, которая разбивает значения признаков данных на ветви в узлах принятия решений (например, если признак является цветом, каждый возможный цвет становится новой ветвью) до тех пор, пока не будет принято окончательное решение.	Регрессия классификация
Наивный байесовский	Байесовский метод — это метод классификации, в котором используется теорема Байеса. Теорема обновляет априорные знания о событии независимой вероятностью каждого признака, который может повлиять на событие.	Регрессия классификация
Машина опорных векторов	Метод опорных векторов (SVM) обычно используется для задач классификации. Алгоритм SVM находит гиперплоскость, которая оптимально разделяет классы. Наилучшее применение этого метода — использование нелинейного решателя.	Регрессия (не очень часто) классификация
Случайный лес	Алгоритм построен на основе дерева решений для значительного повышения точности. Случайный лес генерирует множество простых деревьев решений и использует метод «голосования большинством» для определения того, какую метку вернуть. Для задачи классификации окончательным предсказанием будет то, которое получило наибольшее количество голосов; для задачи регрессии окончательным предсказанием будет среднее предсказание всех деревьев.	Регрессия классификация
АдаБуст	Метод классификации или регрессии, который использует множество моделей для принятия решения, но взвешивает их на основе их точности при прогнозировании результата.	Регрессия классификация
Деревья с усилением градиента	Деревья градиентного бустинга — это передовая методика классификации/регрессии. Она фокусируется на ошибках, допущенных предыдущими деревьями, и пытается их исправить.	Регрессия классификация

Неконтролируемое обучение

В обучении без учителя алгоритм исследует входные данные, не имея явно заданной выходной переменной (например, он исследует демографические данные клиентов для выявления закономерностей).

Его можно использовать, когда вы не знаете, как классифицировать данные, и хотите, чтобы алгоритм нашел закономерности и сгруппировал данные за вас. Основные алгоритмы обучения без учителя кратко описаны ниже.

Имя алгоритма	Описание	Тип
K-означает кластеризацию	Помещает данные в несколько групп (k), каждая из которых содержит данные со схожими характеристиками (как определено моделью, а не людьми заранее).	ClusterИНГ
Модель смеси Гаусса	Обобщение кластеризации k-средних, обеспечивающее большую гибкость в размере и форме групп (кластеров).	ClusterИНГ
Иерархическая кластеризация	Разделяет кластеры вдоль иерархического дерева для формирования системы классификации. Может использоваться для кластеризации клиентов, использующих карты лояльности.	ClusterИНГ
Рекомендательная система	Помогает определить необходимые данные для формирования рекомендации.	ClusterИНГ
PCA/t-SNE	В основном используется для уменьшения размерности данных. Алгоритмы сокращают количество признаков до 3 или 4 векторов с наибольшей дисперсией.	Уменьшение размеров

Как выбрать алгоритм машинного обучения

Существует множество алгоритмов машинного обучения, и выбор алгоритма определяется скорее целью, чем модой.

В приведенном ниже примере машинного обучения задача состоит в том, чтобы предсказать тип цветка среди трех сортов. Предсказания основаны на длине и ширине лепестка. На рисунке показаны результаты десяти различных алгоритмов. На рисунке в верхнем левом углу представлен сам набор данных, разделенный на три категории: красный, светло-синий и темно-синий. Некоторые группыpingВидны различия. Например, на втором изображении все, что находится в верхнем левом углу, относится к красной категории, средняя часть содержит смесь неопределенности и светло-голубого цвета, а нижняя часть соответствует темной категории. На других изображениях показано, как разные алгоритмы пытаются классифицировать одни и те же данные.

После выбора кандидата его качество оценивается на основе данных, которые он никогда ранее не видел, обычно с помощью матрица путаницы а также показатели точности, прецизионности и полноты, полученные на их основе.

Проблемы и ограничения машинного обучения

Основная проблема машинного обучения — это недостаток данных или отсутствие разнообразия в наборе данных. Машина не может учиться, если нет доступных данных. Набор данных, в котором отсутствует разнообразие, также создает для машины трудности, поскольку для получения значимых результатов ей необходима неоднородность. Редко когда алгоритм может...tracИнформация теряется, когда вариаций мало или совсем нет. Общепринятое правило — иметь не менее 20 наблюдений на группу, чтобы помочь машине обучаться; при меньшем количестве наблюдений страдают как оценка, так и прогнозирование.

Объем данных — не единственное ограничение. Модели, обученные на предвзятых исторических данных, воспроизводят эту предвзятость, сложные модели трудно объяснить регулирующим органам или клиентам, и любая модель деградирует по мере изменения мира, на котором она была обучена.

Применение машинного обучения

Описанные выше методы уже применяются в большинстве отраслей промышленности. Приведенные ниже примеры охватывают широкий спектр направлений, от общей помощи до конкретных секторов.

Увеличение: Машинное обучение помогает людям в их повседневных задачах, как в личной, так и в коммерческой сфере, не имея при этом полного контроля над результатом. Такое машинное обучение используется в различных областях, например, в виртуальных помощниках, анализе данных и программных решениях. Основная цель – уменьшение ошибок, вызванных человеческой предвзятостью.

Автоматизация: Машинное обучение работает полностью автономно в любой области, не требуя вмешательства человека. Например, роботы выполняют основные технологические этапы на производственных предприятиях.

Финансовая индустрия: Машинное обучение набирает популярность в финансовой индустрии. Банки используют машинное обучение в основном для выявления закономерностей в данных, а также для предотвращения мошенничества.

Государственные организации: Правительства используют машинное обучение для управления общественной безопасностью и коммунальными услугами. В качестве примера можно привести Китай и его масштабную программу распознавания лиц, где приложения искусственного интеллекта используются для идентификации лиц, переходящих дорогу в неположенном месте.

Здравоохранение: Здравоохранение было одной из первых отраслей, применивших машинное обучение, начиная с распознавания изображений.

Маркетинг: Благодаря огромному доступу к данным, ИИ широко используется в маркетинге. До появления массовых данных исследователи разрабатывали передовые математические инструменты, такие как байесовский анализ, для оценки ценности клиента. С бурным ростом объёма данных маркетинговые отделы полагаются на ИИ для оптимизации отношений с клиентами и маркетинговых кампаний.

Пример применения машинного обучения в цепочке поставок

Машинное обучение демонстрирует впечатляющие результаты в распознавании визуальных образов, открывая множество потенциальных применений в физическом контроле и техническом обслуживании по всей цепочке поставок.

Обучение без учителя позволяет быстро находить схожие закономерности в разнообразном наборе данных. В свою очередь, машина может проводить контроль качества на всем протяжении логистического узла и отмечать грузы с повреждениями и износом.

Например, IBMПлатформа Watson может определять местоположение корабля.ping Повреждение контейнера. Watson объединяет визуальные и системные данные для track, составлять отчеты и давать рекомендации в режиме реального времени.

В прошлом менеджеры по запасам в значительной степени полагались на ручные методы оценки и прогнозирования запасов. Сочетание больших данных и машинного обучения позволяет создавать более совершенные методы прогнозирования, демонстрирующие, по сообщениям, улучшение на 20-30 процентов по сравнению с традиционными инструментами прогнозирования. В плане продаж это означает увеличение на 2-3 процента благодаря потенциальному снижению затрат на хранение запасов.

Пример применения машинного обучения в Google Авто

Все знают Google Автомобиль. Крыша автомобиля покрыта лазерами, которые определяют его местоположение относительно окружающей местности. В передней части установлен радар, который информирует автомобиль о скорости и движении всех окружающих автомобилей. Он использует все эти данные не только для управления автомобилем, но и для прогнозирования действий водителей на дороге. Впечатляет то, что автомобиль обрабатывает почти гигабайт данных в секунду.

Почему машинное обучение важно?

Машинное обучение — это лучший на сегодняшний день инструмент для анализа, понимания и выявления закономерностей в данных. Одна из главных идей машинного обучения заключается в том, что компьютер можно обучить автоматизировать задачи, которые были бы утомительными или невыполнимыми для человека. Явное отличие от традиционного анализа заключается в том, что машинное обучение может принимать решения с минимальным участием человека.

Рассмотрим следующий пример: агент по розничной торговле может оценить стоимость дома, основываясь на личном опыте и знании рынка.

Машину можно обучить переводить знания эксперта в характеристики. Характеристики — это все особенности дома, района, экономической ситуации и так далее, которые влияют на цену. Эксперту, вероятно, потребовались годы, чтобы освоить искусство оценки стоимости дома, и его навыки улучшаются после каждой продажи.

Для освоения этого искусства машине требуются миллионы точек данных (то есть примеров). В самом начале обучения машина совершает ошибки, подобно начинающему продавцу. Как только машина увидит достаточно примеров, у нее будет достаточно знаний, чтобы делать свои оценки, и делать это с высокой точностью. Машина также способна исправлять свои ошибки по мере поступления новых заказов.

Большинство крупных компаний осознали ценность машинного обучения и хранения данных. Институт McKinsey Global оценил годовую стоимость всех аналитических методов в 9.5–15.4 триллиона долларов и отнёс примерно 40 процентов этой суммы — около 3.5–5.8 триллиона долларов в год — к передовым методам искусственного интеллекта, основанным на глубоких нейронных сетях, как указано в его отчете. Заметки с рубежа искусственного интеллекта исследование.

В случаях, когда правила известны, но не являются неточными, а лишь отсутствуют, применяется подход, основанный на правилах, например: нечеткая логика может лучше подходить, чем обученная модель, поэтому эти два метода часто сравнивают перед началом проекта.

Часто задаваемые вопросы (FAQ)