Где применяется машинное обучение

Выдавать кредиты, диагностировать болезни, управлять заводами: где применяется машинное обучение

Машинное обучение (Machine Learning) — это прежде всего прикладной инструмент. Он помогает людям в диагностике болезней на ранних этапах, защите клиентов банка от мошенничества, а также управлении сложными производствами. Где применяется ML и в каких сферах может найти себя специалист по машинному обучению, разбираемся с экспертами магистратуры Skillfactory и УрФУ «Инженерия машинного обучения».

Освойте профессию «Data Scientist»

Финтех: кредитный скоринг, защита клиентов, поиск мошенников

В финтехе и банках очень много решений сейчас принимается с помощью машинного обучения. Алгоритм помогает, например, решать задачи кредитного скоринга. Обрабатывая данные о клиенте из анкеты и открытых источников, система делает вывод о том, стоит выдавать кредит клиенту или нет. Это помогает менеджерам принимать решения и снижать риски для банка. Также ML-модели могут отслеживать платежи и находить среди них мошеннические, когда кто-то украл карту клиента и пытается вывести с нее деньги. Машинное обучение помогает банкам искать клиентов в открытых источниках, например в реестрах юрлиц, отслеживать их отток, понимать, что клиент собирается уйти, и дает рекомендации, чтобы его удержать.

Медицина: диагностика болезней на ранней стадии

Диагностика — одно из важных направлений машинного обучения. Сейчас законодательно все устроено так, что поставить пациенту диагноз и назначить лечение может только человек. Все, что разрабатывается в сфере машинного обучения, — это системы помощи врачу. Чаще всего для анализа при помощи моделей используются медицинские изображения: МРТ, КТ, флюорография. В текстовом анализе, как правило, написано число по определенному параметру (например сахар в крови) и границы допустимых значений. Такой результат может прочитать любой врач, они понимают, что означает выход за границу допустимых значений. С медицинскими изображениями все сложнее. Безусловно, технически мы можем сделать идеальное изображение всего, что у человека есть внутри. Но для этого нужно хорошо просветить тело радиацией, и человеку от этого будет очень плохо. Если же мы делаем изображения, которые не вредят здоровью, то качественную картинку получить невозможно. Она чаще всего зашумленная, и на ней сложно что-либо различить. Чтобы работать с такими изображениями, врачи специально учатся диагностике. К сожалению, специалистов, которые могут читать медицинские изображения, не хватает. Многие больницы сейчас покупают качественное оборудование, но врачей, которые могут интерпретировать результаты, просто нет. Чем здесь могут помочь системы помощи медицинским специалистам? При помощи алгоритмов компьютерного зрения они анализируют изображение и выделяют области интереса: есть ли на картинке что-то нетипичное, на что стоит обратить внимание. Проанализировав область интереса, модель может определить, например, что на изображении — с высокой вероятностью туберкулез. После этого анализа изображение смотрит врач и подтверждает или опровергает диагноз, отправляет пациента на дообследование. Актуальное направление разработки сейчас — обследования, которые помогают видеть заболевания на ранней стадии развития, когда врач может еще не замечать их на медицинском изображении.

Образование: цифровые лекторы и ассистенты

Образование — пока что неосвоенная сфера для ML, но и здесь есть свои интересные кейсы. Например, сервис Visper от Сбера дает инструменты для онлайн-обучения. Чтобы организовать лекцию, нужно либо подключать студентов онлайн в Zoom, либо записывать уроки. Для этого нужно идти в студию, делать запись, что чаще всего долго и дорого. Visper позволяет сгенерировать цифровой аватар лектора, который озвучит в уроке написанный для него текст. Дальше нужно просто добавить в видео с персонажем презентацию — и онлайн-урок готов. Также есть интересный американский кейс с участием IBM. Еще до пандемии компания поучаствовала в создании онлайн-курсов. В программе принимали участие много студентов, и у всех в ходе самостоятельной работы возникали дополнительные вопросы. На эти вопросы им отвечали ассистенты. В конце семестра прошло голосование за лучшего ассистента. Больше всего голосов получила Джилл Ватсон — по мнению студентов, она лучше всех отвечала на вопросы. Оказалось, что это был не человек, а суперкомпьютер IBM Watson.

Промышленность: контроль качества

В промышленности очень много данных и очень много задач для алгоритмов: безопасность на производстве, автоматизация, контроль качества продукции. УрФУ недавно участвовал в хакатоне от компании ТМК, которая делает трубы для нефтепроводов. Трубы должны быть качественными, потому что, если их прорвет, это будет экологическая катастрофа. Ущерб от такого происшествия несопоставим со стоимостью трубы, поэтому для ТМК очень важно делать продукт высокого качества. Вопрос в том, как это качество контролировать. На одном из этапов трубу просвечивают рентгеновским излучением. Снимок позволяет увидеть внутренние дефекты. Чтобы проконтролировать качество, нужен специалист, который будет сидеть и постоянно смотреть на эти изображения. Понятно, что человек не может проводить такой контроль стабильно качественно. Для этого на хакатоне студенты создали прототип системы компьютерного зрения, которая отслеживает дефекты и сообщает о них сотруднику.

Автомобили без водителей

На сегодня в России законодательно разрешен проезд автомобилей без водителя в Москве, Московской области и Татарстане. По Иннополису уже ездят Яндекс.Такси без водителя. Проблема этого направления в том, что цена ошибки тут очень высока. Когда разработчики научатся решать проблемы, беспилотники появятся на улицах всех городов. Я верю, что это наше будущее уже через пять лет. КАМАЗ занимается разработкой грузовиков без водителя, Россельмаш — беспилотных комбайнов, а Уралмаш начал думать о том, чтобы производить экскаваторы без водителя. Это очень перспективное направление.

Фармакология: проектирование лекарств

Один из последних прорывов машинного обучения в науках о жизни — при помощи нейронных сетей научились определять трехмерную структуру белка. Это упрощает процесс разработки новых лекарств. Например, когда мы расшифровываем геном какого-либо вируса, получаем одномерную последовательность, в то время как в реальности белки трехмерные. Чтобы определить трехмерную структуру генома, требуются длительные, на несколько месяцев эксперименты. А для того чтобы получить одно лекарство, таких экспериментов нужно несколько. Это долго и дорого. Выяснилось, что при помощи нейросетей можно получить трехмерную структуру белка и определить, будет ли он взаимодействовать с вирусом нужным образом. Такую модель создала компания DeepMind. Для разработки алгоритма AlphaFold создатели использовали информацию о структурах 170 тысяч белков. Эта разработка позволит быстрее проектировать лекарства и вакцины и с высокой точностью прогнозировать их эффективность.

Информационная безопасность

Как сейчас работают системы обнаружения вторжений? По так называемой сигнатуре атаки: когда вторжение произошло, производители антивирусов изучают, какие действия были произведены. Их записывают в сценарий антивируса: если происходят вот такие действия, то это атака вот такого типа и нужно ее остановить. Но это означает, что нет возможности остановить новые атаки — такие, которые раньше не происходили. Машинное обучение в информбезопасности используется как раз, чтобы обнаруживать атаки нового вида, которых раньше никто никогда не видел. Информационной безопасности был посвящен недавний хакатон Skillfactory. Данные предоставил сингапурский университет, который собрал уменьшенную копию реального завода по очистке воды. В Сингапуре он снабжает две трети города — если этот завод остановится, все останутся без воды. Задачей было разработать систему, которая может определять вторжения двух видов: виртуальные и атаки на оборудование. Участники команды УрФУ для решения задачи применяли обучение модели с учителем и без учителя. В первом случае разработчики создали 10 моделей, из которых выбрали и протестировали три эффективные. По итогам экспериментов лучше всего себя показал метод дерева решений, он предсказывал возможность атаки с высокой точностью. Также участники создали модель для поиска аномалий в работе завода, которая находила нетипичные ситуации, — для этого применили нейронную сеть. В итоге решение этой команды оказалось лучшим на хакатоне. Синергия онлайн-образования и фундаментального университетского подхода — на онлайн-программе от SkillFactory совместно с МИФИ. На программе «Специалист по Data Science» вы изучите науку о данных с преподавателями МИФИ и практикуйтесь на реальных кейсах VK, Danone, devhub и Агентство Инноваций города Москвы. Подойдет абитуриентам без технического образования и глубокого опыта в IT. Эксперты в Data Science помогут вам влиться в новую среду, а специалисты Центра карьеры — найти стажировку и работу в IT.

Что такое машинное обучение?

Машинное обучение – это наука о разработке алгоритмов и статистических моделей, которые компьютерные системы используют для выполнения задач без явных инструкций, полагаясь вместо этого на шаблоны и логические выводы. Компьютерные системы используют алгоритмы машинного обучения для обработки больших объемов статистических данных и выявления шаблонов данных. Таким образом, системы могут более точно прогнозировать результаты на основе заданного набора входных данных. Например, специалисты по работе с данными могут обучить медицинское приложение диагностировать рак по рентгеновским изображениям, сохраняя миллионы отсканированных изображений и соответствующие диагнозы.

Почему машинное обучение так важно?

Машинное обучение помогает компаниям стимулировать рост, открывать новые источники дохода и решать сложные проблемы. Данные являются важной движущей силой принятия бизнес-решений, но традиционно компании использовали данные из различных источников, таких как отзывы клиентов, сотрудников и финансов. Исследования в области машинного обучения автоматизируют и оптимизируют этот процесс. Используя ПО, которое анализирует очень большие объемы данных на высокой скорости, компании могут быстрее достигать результатов.

Где используется машинное обучение?

Ключевые области использования машинного обучения см. ниже.

Производство

Машинное обучение может поддерживать профилактическое обслуживание, контроль качества и инновационные исследования в производственном секторе. Технология машинного обучения также помогает компаниям улучшать логистические решения, включая активы, цепочки поставок и управление запасами. Например, крупномасштабная компания-производитель 3M использует AWS Machine Learning для инновации шлифовальной бумаги. Алгоритмы машинного обучения позволяют исследователям 3M анализировать, как незначительные изменения формы, размера и ориентации улучшают абразивность и долговечность. Эти предложения влияют на производственный процесс.

Здравоохранение и медико‑биологические разработки

Распространение носимых датчиков и устройств породило значительный объем данных о здоровье. Программы машинного обучения могут анализировать эту информацию и помогать врачам в диагностике и лечении в режиме реального времени. Исследователи машинного обучения разрабатывают решения, которые обнаруживают раковые опухоли и диагностируют глазные заболевания, что значительно влияет на показатели здоровья человека. Например, компания Cambia Health Solutions использовала машинное обучение AWS для поддержки стартапов в области здравоохранения с целью автоматизации и персонализации лечения беременных женщин.

Финансовые услуги

Проекты финансового машинного обучения улучшают аналитику рисков и регулирование. Технология машинного обучения может позволить инвесторам выявлять новые возможности путем анализа движений фондового рынка, оценки хедж-фондов или калибровки финансовых портфелей. Кроме того, это может помочь выявить кредитных клиентов с высоким уровнем риска и смягчить признаки мошенничества. Лидирующий поставщик финансового ПО Intuit использует подсистему AWS Machine Learning, Amazon Textract,чтобы обеспечить более персонализированное управление финансами и помочь конечным пользователям улучшить финансовое положение.

Розничная торговля

В розничной торговле машинное обучение может использоваться для улучшения обслуживания клиентов, управления запасами, дополнительных продаж и многоканального маркетинга. Например, Amazon Fulfillment (AFT) удалось сократить расходы на инфраструктуру на 40 %, используя модель машинного обучения для выявления неуместных запасов. Это позволяет выполнять обещание Amazon в отношении предоставления клиентам простого доступа к товару и своевременной доставки такого товара, несмотря на обработку миллионов поставок ежегодно.

Мультимедиа и развлечения

Компании в индустрии развлечений обращаются к машинному обучению, чтобы лучше понимать целевую аудиторию и предоставлять иммерсивный персонализированный контент по запросу. Алгоритмы машинного обучения используются для разработки трейлеров и другой рекламы, предоставления потребителям персонализированных рекомендаций по контенту и даже оптимизации производства.

Например, Disney использует глубокое обучение AWS для архивирования медиатеки. Инструменты машинного обучения AWS автоматически маркируют, описывают и сортируют медиаконтент, позволяя писателям и аниматорам Disney быстро искать персонажей Disney и знакомиться с ними.

Как работает машинное обучение?

Центральной идеей машинного обучения является существующая математическая связь между любой комбинацией входных и выходных данных. Модель машинного обучения не имеет сведений об этой взаимосвязи заранее, но может сгенерировать их, если будет предоставлено достаточное количество наборов данных. Это означает, что каждый алгоритм машинного обучения строится вокруг модифицируемой математической функции. Описание основополагающего принципа см. ниже.

1. Мы «обучаем» алгоритм, давая ему следующие комбинации ввода-вывода [input / output (i,o)]: (2,10), (5,19) и (9,31).
2. Алгоритм вычисляет соотношение между входом и выходом следующим образом: o = 3 × i + 4.
3. Затем мы задаем ввод 7 и просим предсказать результат. Алгоритм может автоматически определить выход как 25.

Хотя это базовое понимание, машинное обучение фокусируется на том принципе, что все сложные точки данных могут быть математически связаны компьютерными системами, если у них достаточно данных и вычислительной мощности для обработки этих данных. Следовательно, точность выходных данных прямо пропорциональна величине входных данных.

Какие типы алгоритмов машинного обучения существуют?

Алгоритмы можно разделить на четыре стиля обучения в зависимости от ожидаемого результата и типа ввода.

1. Машинное обучение с учителем
2. Машинное обучение без учителя
3. Машинное обучение с частичным привлечением учителя
4. Машинное обучение с подкреплением

1. Машинное обучение с учителем

Специалисты по работе с данными предоставляют алгоритмам помеченные и определенные обучающие данные для оценки корреляций. Демонстрационные данные определяют как входные данные, так и выходные данные алгоритма. Например, изображения рукописных цифр аннотируются, чтобы указать, какому числу они соответствуют. Система обучения с учителем может распознавать кластеры пикселей и фигур, связанных с каждым числом, при наличии достаточного количества примеров. Со временем система распознает написанные от руки цифры, стабильно различая числа 9 и 4 или 6 и 8.

Сильные стороны машинного обучения с учителем – простота и легкость структуры. Такая система полезна при прогнозировании возможного ограниченного набора результатов, разделении данных на категории или объединении результатов двух других алгоритмов машинного обучения. Однако маркировка миллионов немаркированных наборов данных является сложной задачей. Давайте рассмотрим это подробнее.

Что такое маркировка данных?

Маркировка данных – это процесс категоризации входных данных с соответствующими им определенными выходными значениями. Помеченные обучающие данные необходимы для обучения с учителем. Например, миллионы изображений яблок и бананов должны быть помечены словами «яблоко» или «банан». Затем приложения машинного обучения могли бы использовать эти обучающие данные, чтобы угадывать название фрукта по изображению фрукта. Однако маркировка миллионов новых данных может быть трудоемкой и сложной задачей. Сервисы коллективной работы, такие как Amazon Mechanical Turk, могут в некоторой степени преодолеть это ограничение алгоритмов обучения с учителем. Эти сервисы обеспечивают доступ к большому количеству доступным рабочим ресурсам по всему миру, что упрощает сбор данных.

2. Машинное обучение без учителя

Алгоритмы обучения без учителя обучаются на неразмеченных данных. Такие алгоритмы просматривают новые данные, пытаясь установить значимые связи между входными и заранее определенными выходными данными. Они могут выявлять закономерности и классифицировать данные. Например, алгоритмы без учителя могут группировать новостные статьи с разных новостных веб-сайтов в общие категории, такие как спорт, криминал и т. д. Они могут использовать обработку естественного языка для понимания смысла и эмоций в статье. В розничной торговле обучение без учителя поможет найти закономерности в покупках клиентов и предоставить результаты анализа данных, такие как: покупатель, скорее всего, купит хлеб, если также купит масло.

Обучение без учителя полезно для распознавания образов, обнаружения аномалий и автоматического группирования данных по категориям. Поскольку обучающие данные не требуют маркировки, настройка проста. Эти алгоритмы также можно использовать для автоматической очистки и обработки данных для дальнейшего моделирования. Ограничение этого метода состоит в том, что он не может дать точных прогнозов. Кроме того, он не может самостоятельно выделять конкретные типы выходных данных.

3. Машинное обучение с частичным привлечением учителя

Как следует из названия, этот метод сочетает в себе обучение с учителем и без него. Этот метод основан на использовании небольшого количества размеченных данных и большого количества неразмеченных данных для обучения систем. Сначала размеченные данные используются для частичного обучения алгоритма машинного обучения. После этого частично обученный алгоритм сам размечает неразмеченные данные. Этот процесс называется псевдомаркировкой. Затем модель переобучается на результирующем наборе данных без явного программирования.

Преимущество этого метода в том, что вам не требуются большие объемы размеченных данных. Это удобно при работе с такими данными, как длинные документы, чтение и маркировка которых отнимает слишком много времени у человека.

4. Обучение с подкреплением

Обучение с подкреплением – это метод, в котором значения вознаграждения привязаны к различным шагам, которые должен пройти алгоритм. Таким образом, цель модели – накопить как можно больше призовых баллов и в конечном итоге достичь конечной цели. Большая часть практического применения обучения с подкреплением за последнее десятилетие была связана с видеоиграми. Передовые алгоритмы обучения с подкреплением добились впечатляющих результатов в классических и современных играх, часто значительно превосходя ручные аналоги.

Хотя этот метод лучше всего работает в неопределенных и сложных средах данных, он редко применяется в бизнес-контексте. Это неэффективно для четко определенных задач, и предвзятость разработчиков может повлиять на результаты. Поскольку специалист по работе с данными разрабатывает награды, они могут влиять на результаты.

Являются ли модели машинного обучения детерминированными?

Если выход системы предсказуем, то говорят, что она детерминирована. Большинство программных приложений предсказуемо реагируют на действия пользователя, поэтому можно сказать: что «если пользователь делает то-то, он получает то-то». Однако алгоритмы машинного обучения учатся на основе наблюдения и опыта. Поэтому они носят вероятностный характер. Утверждение теперь меняется на следующее: «если пользователь делает это, есть вероятность X %, что произойдет это».

В машинном обучении детерминизм – это стратегия, используемая при применении методов обучения, описанных выше. Любой из методов обучения (с учителем, без учителя и т. д.) можно сделать детерминированным в зависимости от желаемых бизнес-результатов. Вопрос исследования, поиск данных, структура и решения по хранению определяют, будет ли принята детерминированная или недетерминированная стратегия.

Детерминированный и вероятностный подходы

Детерминированный подход фокусируется на точности и объеме собранных данных, поэтому эффективность важнее неопределенности. С другой стороны, недетерминированный (или вероятностный) процесс предназначен для управления фактором случайности. Встроенные инструменты интегрированы в алгоритмы машинного обучения, чтобы помочь количественно определить, идентифицировать и измерить неопределенность во время обучения и наблюдения.

Что такое глубокое обучение?

Глубокое обучение – это метод машинного обучения, который моделируется мозгом человека. Алгоритмы глубокого обучения анализируют данные с логической структурой, аналогичной той, которую используют люди. Глубокое обучение использует интеллектуальные системы, называемые искусственными нейронными сетями, для обработки информации слоями. Данные проходят от входного слоя через несколько «глубоких» скрытых слоев нейронной сети, прежде чем попасть на выходной слой. Дополнительные скрытые слои поддерживают обучение, которое намного эффективнее, чем стандартные модели машинного обучения.

Что такое искусственная нейронная сеть?

Слои глубокого обучения представляют собой узлы искусственной нейронной сети (ИНС), которые работают как нейроны человеческого мозга. Узлы могут представлять собой комбинацию аппаратного и программного обеспечения. Каждый уровень в алгоритме глубокого обучения состоит из узлов ИНС. Каждый узел или искусственный нейрон соединяется с другим и имеет связанный с ним номер значения и пороговый номер. Узел отправляет номер своего значения в качестве входных данных узлу следующего слоя при активации. Он активируется, только если его выход превышает указанное пороговое значение. В противном случае никакие данные не передаются.

Что такое машинное зрение?

Компьютерное зрение – это реальное применение глубокого обучения. Точно так же, как искусственный интеллект позволяет компьютерам думать, компьютерное зрение позволяет им видеть, наблюдать и реагировать. Самоуправляемые автомобили используют компьютерное зрение, чтобы «читать» дорожные знаки. Камера автомобиля делает снимок знака. Это фото отправляется алгоритму глубокого обучения в машине. Первый скрытый слой обнаруживает края, следующий различает цвета, а третий слой идентифицирует детали алфавита на знаке. Алгоритм предсказывает, что на знаке написано СТОП, и автомобиль ответит срабатыванием тормозного механизма.

Машинное обучение и глубокое обучение – это одно и то же?

Глубокое обучение – это часть машинного обучения. Алгоритмы глубокого обучения можно рассматривать как непростую и математически сложную эволюцию алгоритмов машинного обучения.

Машинное обучение и искусственный интеллект – это одно и то же?

Короткий ответ: нет. Хотя термины «машинное обучение» и «искусственный интеллект» (ИИ) могут использоваться взаимозаменяемо, это не одно и то же. Искусственный интеллект – это общий термин для различных стратегий и методов, используемых для того, чтобы сделать машины более похожими на людей. ИИ включает в себя все, от умных помощников, таких как Alexa, до роботов-пылесосов и беспилотных автомобилей. Машинное обучение – одна из многих других ветвей искусственного интеллекта. Хотя машинное обучение – это ИИ, все действия ИИ нельзя назвать машинным обучением.

Машинное обучение и наука о данных – это одно и то же?

Нет, машинное обучение и наука о данных – это не одно и то же. Наука о данных – это область исследования, в которой используется научный подход для извлечения смысла и понимания из данных. Специалисты по работе с данными используют ряд инструментов для анализа данных, и машинное обучение является одним из таких инструментов. Специалисты по работе с данными понимают общую картину данных, таких как бизнес-модель, предметная область и сбор данных, в то время как машинное обучение — это вычислительный процесс, который работает только с необработанными данными.

Каковы преимущества и недостатки машинного обучения?

Мы предлагаем вашему вниманию возможности и ограничения машинного обучения.

Преимущества моделей машинного обучения:

• определение тенденций и закономерностей данных, которые может упустить человек;
• работа без вмешательства человека после настройки; например, машинное обучение в ПО для кибербезопасности может постоянно отслеживать и выявлять нарушения в сетевом трафике без участия администратора;
• результаты могут стать более точными с течением времени;
• обработка различных форматов данных в динамических, больших объемов и сложных сред данных.

Недостатки моделей машинного обучения:

• исходная подготовка является дорогостоящим и трудоемким процессом; трудоемкая реализация в отсутствии достаточного объема данных;
• ресурсоемкий процесс, требующий больших первоначальных инвестиций, если оборудование устанавливается собственными силами;
• без помощи специалиста может быть сложно правильно интерпретировать результаты и устранить неопределенность.

Как Amazon может содействовать машинному обучению?

AWS предоставляет машинное обучение в руки каждого разработчика, специалиста по данным и бизнес-пользователя. Сервисы Amazon Machine Learning предоставляют высокопроизводительную, экономически эффективную и масштабируемую инфраструктуру для удовлетворения потребностей бизнеса.

Работа только началась?

Овладейте машинным обучением с нашей помощью, используя учебные устройства: AWS DeepRacer, AWS DeepComposer и AWS DeepLens.

Архив данных уже существует?

Используйте маркировку данных Amazon SageMaker для встроенных рабочих процессов маркировки данных, поддерживающих видео, изображения и текст.

Системы машинного обучения уже имеются?

Используйте Amazon SageMaker Clarify для обнаружения смещений, а также Amazon SageMaker Debugger для мониторинга и оптимизации продуктивности.

Хотите внедрить глубокое обучение?

Используйте распределенное обучение Amazon SageMaker для автоматического обучения больших моделей глубокого обучения. Чтобы начать машинное обучение уже сегодня, зарегистрируйте бесплатный аккаунт!

Машинное обучение: почему так востребовано и в каких сферах применяют

Когда мы регистрируемся на вебинар через чат-бота или просим голосовой помощник включить любимую песню, то не задумываемся, как работают данные технологии. На первый взгляд, это простые инструменты, но за ними стоит сложный процесс разработки с элементами машинного обучения.

Машинное обучение и программирование — две разные технологии. Для создания программ разработчику необходимо написать алгоритм — определенную последовательность действий, благодаря которому машина выдает нужный результат.

ML-инженер не пишет программу для компьютера, а обучает его искать взаимосвязи данных и на их основе самостоятельно принимать решения. То есть у алгоритма нет заданного результата, ему необходимо самостоятельно построить модель, которая ответит на поставленный вопрос. Задача машинного обучения — научить систему саму находить правильное решение.

Почему машинное обучение так востребовано

С помощью этой технологии можно разрабатывать машины и программы, которые мыслят почти как человек. Но при этом могут работать без перерыва на отдых, совершать меньше ошибок и обрабатывать любое количество данных.

Пройдите онлайн-курсы бесплатно и откройте для себя новые возможности Начать изучение

В каких сферах используется машинное обучение

Способность компьютера обрабатывать и запоминать данные, анализировать и составлять прогнозы применяется практически везде. Приведем примеры, как отрасли используют модели машинного обучения.

• Банки. Специальная программа скоринг помогает обрабатывать большое количество кредитных анкет. Данная модель автоматически оценивает клиента: считает кредитный рейтинг, определяет его платёжеспособность и принимает решение — одобрить запрос или отказать.
• Маркетинг. Когда социальная сеть показывает рекламу или рекомендует разные сообщества определенной аудитории — это классический вариант применения машинного обучения.
• Медицина. В качестве примера можно привести программы, которые предварительно изучают большое количество снимков и запоминают разные патологии, а затем могут обрабатывать снимки новых пациентов и ставить по ним правильные диагнозы.
• Сельское хозяйство. Разработаны модели, которые способны исследовать состав почвы, подбирать необходимое количество удобрений и прогнозировать урожайность.

Как проходит процесс обучения машины

Искусственный интеллект не может сам анализировать данные или предсказывать их. Чтобы машина поняла, какие фильмы вы любите или какие новости вам будут интересны, её необходимо научить работать с информацией. Этим занимается специалист по Data Science.

Объясняем на простом примере, как проходит обучение: модель — это своего рода черный ящик. Он получает на входе определенные данные — условия задачи, а на выходе выдает какой-то ответ. Этот ящик наделяют разными дополнительными параметрами, которые и определяют, каким способом будут обрабатываться данные.

Когда мы что-то изучаем, то выполняем практически те же действия. Например, чтобы выучить наизусть стихотворение, необходимо несколько раз его прочитать и повторить. А чтобы решить задачу по математике, необходимо разобрать условия и подобрать нужный алгоритм. Эти виды обучения похожи на подбор, который настраивается в компьютере в зависимости от типов машинного обучения.

Если вы хотите пройти обучение и вместе с командой разработать программы с искусственным интеллектом, то вам точно будет интересен наш проект «Цифровой прорыв. Сезон: искусственный интеллект».

Читайте нас в Telegram — stranavozmojnostey Поделиться в социальных сетях

Машинное обучение: просто о сложном

За последние 15 лет машинное обучение (machine learning, ML) получило широкое распространение, но большинство людей не до конца не осознает его роль в повседневной жизни. Многие из нас ежедневно используют приложения, в основе которых лежат технологии искусственного интеллекта (ИИ) и машинного обучения. Эти технологии уже стали причиной революции во многих отраслях, например, способствовали появлению виртуальных помощников, таких, как Siri или семейства виртуальных ассистентов Салют (Сбер, Джой, Афина), позволили осуществлять прогнозирование трафика с помощью Google Maps. Рассказываем простыми словами, что такое machine learning, что оно представляет из себя сегодня и какие преимущества способно обеспечить компаниям из разных сфер деятельности.

Что такое машинное обучение?

Машинное обучение — это специализированный способ, позволяющий обучать компьютеры, не прибегая к программированию. Отчасти это похоже на процесс обучения младенца, который учится самостоятельно классифицировать объекты и события, определять взаимосвязи между ними.

ML открывает новые возможности для компьютеров в решении задач, ранее выполняемых человеком, и обучает компьютерную систему составлению точных прогнозов при вводе данных. Оно стимулирует рост потенциала искусственного интеллекта, являясь его незаменимым помощником, а в представлении многих даже синонимом.

Наконец, машинное обучение — одна из наиболее распространенных форм применения искусственного интеллекта современным бизнесом. Если компания еще не использует ML, то в ближайшее время наверняка оценит его потенциал, а ИИ станет основным двигателем IT-стратегии многих предприятий. Ведь искусственный интеллект уже сегодня играет огромную роль в трансформации развития ИТ-индустрии: клиенты больше внимания уделяют интеллектуальным приложениям, чтобы развивать свой бизнес с помощью ИИ. Он применим к любому рабочему процессу, реализованному в программном обеспечении, — не только в рамках традиционной деловой части предприятий, но также в исследованиях, производственных процессах и, во все большей степени, самих продуктах.

Примечание
На международной конференции по искусственному интеллекту и анализу данных Artificial Intelligence Journey (AI Journey) президент по глобальным продажам, маркетингу и операциям Microsoft Жан-Филипп Куртуа сообщил , что пандемия COVID-19 форсировала интерес к использованию машинного обучения: 80% компаний уже внедряют его в свою деятельность, а 56% планируют увеличить объем инвестиций в эту сферу.

Необычайный успех machine learning привел к тому, что исследователи и эксперты в области ИИ сегодня по умолчанию выбирают этот метод для решения задач.

Machine Learning: принципы и задачи

В основе машинного обучения лежат три одинаково важных компонента:

• Данные. Собираются всевозможными способами. Чем больше данных, тем эффективней машинное обучение и точнее будущий результат.
• Признаки. Определяют, на каких параметрах строится машинное обучение.
• Алгоритм. Выбор метода машинного обучения (при условии наличия хороших данных) будет влиять на точность, скорость работы и размер готовой модели.

Примечание

Доверие к результатам машинного обучения должно строиться на понимании: они хороши настолько, насколько хороши данные, на которых обучается алгоритм.

В основу существования и развития машинного обучения легли три основных принципа:

• Инновационность: возможности ML открывают новые перспективы развития и роста практически всех отраслей экономики.
• Специфичность: машинное обучение применяется для внедрения и разработки новых продуктов исключительно людьми, которые разбираются в IT-технологиях.
• Простота: продукты, реализуемые с использованием технологий машинного обучения, становятся понятны даже школьникам и людям преклонного возраста.

Задачи, которые способно решить машинное обучение, напрямую определяют выгоды для бизнеса и возможности решения социальных проблем государствами разных стран. К основным задачам относятся:

• Регрессия. Предоставляет прогноз на основе выборки объектов с различными признаками.По итогам анализа данных на выходе получается число или числовой вектор. Например, таким образом работает кредитный скоринг — оценка кредитоспособности потенциального заёмщика.
• Классификация. Выявляет категории объектов на основе имеющихся параметров. Продолжает традиции машинного зрения, поэтому часто можно встретить термин «распознавание образов»: например, идентификация разыскиваемых людей по фото или на основании словесного описания внешности.
• Кластеризация. Разделяет данные на схожие категории по объединяющему признаку. Например, космические объекты кластеризируют по удаленности, размерам, типам и другим признакам.
• Идентификация. Отделяет данные с заданными параметрами от остального массива данных. К примеру, участвует в постановке медицинского диагноза по набору симптомов.
• Прогнозирование. Работает с объемами данных за определенный период и предсказывает на основе анализа их значение через заданный период времени. Примером может служить прогноз погоды.
• Извлечение знаний. Исследует зависимости между рядом показателей одного и того же явления или события. Например, находит закономерности во взаимодействии биржевых показателей.

Как видим, спектр задач машинного обучения широк, что подтверждает его перспективность в использовании как коммерческими предприятиями, так и в социальных проектах.

Как это работает: типы машинного обучения

Для простоты восприятия типы машинного обучения принято разделять на три категории:

• обучение с учителем (supervised learning);
• обучение без учителя (unsupervised learning);
• обучение с подкреплением (reinforcement learning).

Обучение с учителем

Этот тип максимально похож на процесс познания окружающего мира ребенком, только в роли малыша выступает алгоритм. Данные, подготовленные для анализа, изначально содержат правильный ответ, поэтому цель алгоритма — не ответить, а понять, «Почему именно так?» путем выявления взаимосвязей. Результатом становится способность выстраивать корректные прогнозы и модели.

Обучение без учителя

Для данного типа обучения ключевым понятием является паттерн — обрабатывая значительные массивы данных, алгоритм должен сперва самостоятельно выявлять закономерности. На следующем этапе на основе выявленных закономерностей машина интерпретирует и систематизирует данные.

Обучение с подкреплением

Принципы обучения с подкреплением заимствованы из психологических экспериментов: машина пытается найти оптимальные действия, которые будет предпринимать, находясь в наборе различных сценариев. Эти действия могут иметь как краткосрочные, так и долгосрочные последствия, а от алгоритма требуется обнаружить эти связи.

Инструменты machine learning

Инструменты машинного обучения используют на следующих этапах:

• сбор и подготовка данных;
• построение модели;
• обучение и развертывание приложений.

Для выполнения каждого из этих этапов применяются специализированные платформы. Они различаются по языку программирования (Python, Cython, C, C++, CUDA, Java), операционным системам (Linux, Mac OS, Windows) и тому, какие задачи можно решить с их помощью.

Сегодня на рынке представлено несколько десятков программных инструментов:

• TensorFlow;
• Shogun;
• Keras.io;
• Rapid Miner;
• Google Cloud ML Engine;
• Amazon Machine Learning (AML);
• Accord.NET;
• Apache Mahout;
• Microsoft Azure ML;
• SberCloud ML Space

Практическое применение ML-технологий

Машинное обучение уже применяется во всех сферах деятельности человека. Еще в 2017 году под управлением Стэнфордского университета был запущен новый индекс AI100 для отслеживания динамики в сфере ИИ. Согласно данным, полученным университетом, количество стартапов с 2000 по 2018 год выросло в 14 раз. Рассмотрим, в каких областях нас ждут технологические прорывы благодаря ML.

Робототехника

В будущем роботы станут самообучаться ранее поставленным перед ними задачам. К примеру, смогут работать над добычей полезных ископаемых — нефти, газа и других. Они смогут, например, изучать морские глубины, тушить пожары. Программисты могут самостоятельно не писать массивные и сложные программы, опасаясь допустить ошибку в коде. ИИ повлияет и на повышение качества частной жизни человека: у нас уже есть беспилотные автомобили, роботы-пылесосы, трекеры сна, физической активности и здоровья и прочие продукты интернета поведения.

Маркетинг

Самый наглядный пример использования машинного обучения в маркетинге — поисковые системы Google и Яндекс, которые с его помощью контролируют релевантность рекламных объявлений.Социальные сети FaceBook, ВКонтакте, Instagram и другие применяют собственные аналитические машины для исследования интересов пользователей и совершенствования персонализации новостной ленты.Маркетинговые исследования, предваряющие разработку и релиз продуктов компании, станут проще с точки зрения реализации, а итоговые данные будут более точными. Выделение кластеров в группах со схожими параметрами превратит кастомизированные предложения в реальность — можно будет решать задачи не групп потребителей, а каждого в отдельности.

Безопасность

Современную сферу обеспечения безопасности невозможно представить без машинного обучения. Системы распознавания лиц в метро и использование камер, сканирующих лица и номера машин при движении по автодорогам, стали неотъемлемой частью человеческой жизни и незаменимыми помощниками для полиции в поиске преступников и потерявшихся людей.

Финансовый сектор и страхование

Более точные биржевые прогнозы и оценка капитализации брендов, решения о выдаче кредитных продуктов частным лицам и предприятиям, определение стоимости и целесообразности страховки и даже снижение очередей в офисах при параллельном сокращении издержек на персонал — только часть возможностей, которые станут доступны в этой сфере.

Общественное питание

На основе Big Data разрабатываются специальные предложения для гостей с учетом загрузки посадочных мест в ресторанах и кафе, функционируют сервисы по планированию закупок для поваров.

Примечание
Воронежская пивоварня Brewlok и разработчики из NewShift решили использовать возможности Big Data для разработки рецепта идеального пива. На протяжении месяца они собирали отзывы и выделяли критерии оценки вкуса, аромата и цвета. На основе полученных данных из почти двух с половиной тысяч отзывов аналитики сформулировали описание «идеального пива», которое легло в основу рецепта.

Медицина

В медицинских учреждениях машинное обучение позволяет быстро обрабатывать данные пациента, производить предварительную диагностику и подобрать индивидуальное лечение, опираясь на сведения о заболеваниях пациента из базы данных. ML также позволяет автоматически выделять группы риска при появлении новых штаммов вирусных заболеваний.

Добыча полезных ископаемых

Анализ почвы доказывает или опровергает наличие полезных ископаемых, помогает очертить площадь будущей разработки.

Примечание

Серьезным препятствием для повсеместного использования технологий машинного обучения был недостаток у значительного количества компаний финансовых ресурсов и инфраструктуры. Специалисты SberCloud разработал ML Space — платформу для ML-разработки полного цикла и совместной работы Data Science-команд над созданием и развертыванием моделей машинного обучения. Сервис предоставляет уникальную возможность эффективного внедрения машинного обучения в бизнес-процессы.

Резюме

Технологии машинного обучения уже стали частью повседневной жизни, при этом количество стартапов и продуктов на основе машинного обучения активно растет. Будучи причиной технологических революций в некоторых сферах экономики, ML способно быть драйвером в масштабах бизнеса и государств. Сегодня самое время задуматься об интеграции машинного обучения в бизнес-процессы, чтобы не утратить конкурентоспособность.

Технологии искусственного интеллекта и машинного обучения уже определяют экономический успех предприятий. По данным консалтинговой компании Gartner порядка 50% процессов в сфере обработки и анализа данных будут автоматизированы с помощью ИИ к 2025 году, что снизит острую нехватку высококвалифицированных специалистов. Компания SberCloud следует самым современным трендам. ИИ является неотъемлемой частью разработки наших продуктов и услуг. SberCloud располагает достаточными материальными ресурсами: это и самый мощный в России суперкомпьютер “Кристофари”, облачная инфраструктура и платформа ML Space. Платформа позволяет ускорить, оптимизировать и упростить процесс обучения моделей, препроцессинга данных и развертывания моделей на высокопроизводительной инфраструктуре с целью последующего обращения к этим моделям для распознавания или прогнозирования по новым данным. Сегодня ML Space — это единственная в мире облачная платформа, позволяющая обучать модели более чем на 1000 графических процессоров (GPU) Мария Рябенко Старший технический писатель направления AI Cloud

Источники

1. Информационно-аналитический ресурс по машинному обучению
2. Wikipedia.org
3. Machine learning and learning theory research

Запросите бесплатную консультацию по вашему проекту