Какие разделы математики нужны для data science

Математика для анализа данных

За каждой стандартной моделью и конструкцией в Data Science стоит математика, благодаря которой эти модели функционируют. Если вы хотите работать с данными на серьезном уровне и понимать, как устроены методы машинного обучения, то знание математических основ вам просто необходимо.

В этой специализации мы изучим широкий спектр математических инструментов и рассмотрим некоторые их приложения к анализу данных. Будут рассмотрены такие важные разделы математики, как дискретная математика, линейная алгебра, математический анализ и теория вероятностей. Материалы курсов разработаны с учетом современного состояния Data Science и покрывают все темы, необходимые для для дальнейшего развития в данном направлении. Чтобы сделать обучение более практико-ориентированным, мы сопровождаем лекции примерами и задачами, возникающими при реальной работе с данными, и показываем, как решать подобные задачи с помощью Python.

Курсы рекомендуется проходить в том порядке, в котором они представлены на платформе. Каждый из них в той или иной мере использует материал, разобранный в предыдущих курсах.

Помимо лекций и теоретических заданий, в специализацию включены также практические задания на Python и проекты, которые позволят слушателю применить полученные в предлагаемых курсах знания для решения задач, близких к анализу данных. Некоторые задания на программирование построены на реальных данных и дают представление о простых решениях прикладных задач.

Цели специализации

01

Изучить основные определения некоторых разделов линейной алгебры и их интерпретации

02

Развить математическое мышление

03

Находить приближенное решение системы уравнений

Вы научитесь

1. Решать типовые задачи с помощью языка программирования Python

2. Понимать, как устроены методы машинного обучения

3. Применять полученные знания для решения задач, близких к анализу данных

4. Подбирать нужные алгоритмы в работе

Программа обучения

Курс 1. Дискретная математика: подсчеты, графы, случайные блуждания

Основная цель этого онлайн-курса — дать введение в разделы дискретной математики, важные для анализа данных.

Мы начнем с краткого введения в комбинаторику, раздел математики, изучающий подсчеты. Основы комбинаторики критически важны для всех, кто работает в анализе данных или в Computer Science. В качестве примеров использования комбинаторики мы обсудим вопросы о подсчете размера пространства признаков и об оценке времени работы программ на Python. После этого мы используем наши знания в комбинаторике в изучении дискретной вероятности. Вероятностью в области анализа данных пронизано абсолютно все, и мы еще изучим этот раздел математики в одном из следующих курсов гораздо подробнее. В этом курсе в части вероятности наша цель — дать первоначальное знакомство с этой областью, а также дать нам возможность использовать вероятность в следующей части курса. Наконец, в третьей части курса НИУ ВШЭ мы обсудим комбинаторную структуру, наиболее часто встречающуюся в анализе данных — графы. Графы встречаются повсюду, как в анализе данных, так и в обычной жизни, и мы увидим это на разнообразных примерах. Мы дадим необходимые сведения из теории графов, а в конце курса выполним проект, а именно построим несложную рекомендательную систему, основанную на случайных блужданиях в графах.

Курс 2. Линейная алгебра: от идеи к формуле

Основная особенность нашего онлайн-курса — геометрический подход к изложению. В каждом сюжете сначала мы рассказываем идею определения, пусть иногда и нестрого, а уже затем вводим формальное определение. В частности, линейные операторы, собственные векторы и числа появляются до матриц и определителей. Матрицы мы излагаем как способ записи линейного оператора. В силу этой особенности курс может быть интересен и тем, кто уже освоил стандартный вводный курс линейной алгебры.

Основные темы курса: векторные пространства, линейные операторы и их свойства, квадратичные формы, матричные разложения, метод главных компонент. Иногда для решения численных задач мы используем Python. В курсе мы не рассматриваем оптимальные численные реализации методов.

Курс 3. Математический анализ для работы с данными

В онлайн-курсе НИУ ВШЭ представлены основные понятия и методы математического анализа, необходимые для работы с данными.

Первая лекция вводная и посвящена обсуждению базовых понятий: функция, ее график, множество уровня и т.д. Следующие пять лекций содержат основы теории пределов и дифференциального исчисления скалярных и векторных функций от одной и нескольких переменных. В частности, в шестой лекции рассматриваются задачи гладкой оптимизации. Последняя, седьмая лекция посвящена интегральному исчислению. Наряду со стандартным материалом в курсе рассмотрены некоторые вычислительные методы и алгоритмы.

Курс 4. Теория вероятностей и ее приложения

Онлайн-курс «Теория вероятностей и ее приложения» входит в специализацию «Математика для анализа данных» от НИУ ВШЭ и не требует предварительных знаний, кроме материала, пройденного ранее в рамках этой специализации.

Программа дистанционного курса рассчитана на желающих заниматься компьютерными науками и насыщена примерами применения теоретического материала на практике. На лекциях будут даны базовые математические инструменты анализа реальных жизненных ситуаций и процессов, которые можно закрепить, выполнив практические задания. В рамках курса будут изучены: – понятия дискретного и непрерывного вероятностного пространства; – независимость, условная вероятность и связанные с ними формулы (в том числе формула полной вероятности, формула Байеса и т. д.); – случайная величина и её свойства; – плотность случайной величины, одномерная и многомерная функция распределения; – условное распределение случайных величин и способы анализа совместного распределения; – математическое ожидание, причем особое внимание будет уделено условному математическому ожиданию; – базовые способы анализа больших отклонений; – дисперсия, ковариация, коэффициент корреляции и их геометрическая интерпретация; – закон больших чисел и центральная предельная теорема. Приоритетом при составлении курса являлось формирование глубокого понимания используемых в анализе данных вероятностных инструментов. Поэтому все понятия будут подробно рассмотрены с разных сторон, обоснованы и тщательно разобраны в решаемых задачах. Большое количество примеров в курсе тоже служит для этой цели — не просто узнать, а научиться использовать изученную технику.

Какая математика нужна дата-сайентистам

Владеть основными методами машинного обучения и уметь интерпретировать результаты построенных моделей — must have для дата-сайентиста. Но чтобы решать нестандартные задачи, важно понимать законы математики и статистики «под капотом». Разбираемся, как именно математика помогает дата-сайентистам и какие разделы нужно знать.

Освойте профессию «Data Scientist»

Что из математики нужно для Data Science

Со знаниями математики нейронные сети и машинное обучение перестанут быть магией, вы будете понимать, как это работает. С ее помощью можно корректно обработать данные и правильно обучить модель — алгоритм, который находит оптимальное решение задачи. Математика для Data Science нужна и если вы хотите быть в курсе последних событий в отрасли и читать научные статьи.

Профессия / 24 месяца
Data Scientist
Решайте амбициозные задачи с помощью нейросетей
5 491 ₽/мес 9 983 ₽/мес

• линейная алгебра;
• теория вероятностей и математическая статистика;
• математический анализ и методы оптимизации;
• временные ряды.

Линейная алгебра

Большой раздел математики, имеющий дело со скалярами, наборами скаляров (векторами), массивами чисел (матрицами) и наборами матриц (тензорами).

Почти любая информация может быть представлена с помощью матрицы. Объясним на примере: МРТ-снимок головного мозга — это набор плоских снимков, слоев мозга. Каждый плоский снимок можно представить как таблицу интенсивности серого цвета, а весь МРТ-снимок — это будет тензор. Затем можно найти спектр матрицы — набор всех собственных чисел векторов. С помощью спектров можно классифицировать данные на норму и патологию и выявить, например, есть ли у человека заболевание мозга.

Теперь возьмем задачу, связанную с бизнесом, — проанализировать и спрогнозировать прибыль сети магазинов. Отдельный магазин можно описать набором чисел, которые показывают размер прибыли, количество товара, количество рабочих часов в неделе, время открытия и закрытия. Набор этих чисел будет вектором. Для всей сети магазинов набор векторов составит таблицу с числами или матрицу.

Частично линейную алгебру используют в крупных компаниях при разработке рекомендательных систем (например, в YouTube). Знания о матрицах, их свойствах и операциях с ними помогут понять, как устроен механизм работы методов библиотеки NumPy, как считаются важные статистические величины для больших данных.

Станьте дата-сайентистом и решайте амбициозные задачи с помощью нейросетей

Теория вероятностей и математическая статистика

Статистические исследования — прообраз науки о данных: они тоже проводились, чтобы найти закономерности.

К примеру, нужно определить, какой из двух рекламных роликов более удачный. Для этого надо запустить рекламу с этими видео и получить результат. Предположим, на первый кликнула 1 тыс. пользователей, на второй — 1,1 тыс. Теория вероятностей и статистика помогают понять, случайность это или закономерность.

С помощью статистических методов можно выявлять корреляцию (зависимость) между переменными, например между днем недели и количеством покупок на маркетплейсе.

Чтобы рассчитать вероятности и проанализировать, какие колебания и связи являются случайными, а какие несут в себе смысл, нужны знания о случайных величинах, их характеристиках и распределении; также нужно уметь проверять статистические гипотезы.

Читайте также 8 причин стать дата-сайентистом в 2023 году

Математический анализ и методы оптимизация

Математический анализ — раздел математики, он включает дифференциальное и интегральное исчисления.

В анализе данных он используется в основном (хотя далеко не только) для оптимизации — подбора наилучших параметров системы для минимизации или максимизации целевой функции. Практически каждый алгоритм машинного обучения нацелен на то, чтобы минимизировать ошибку оценки с учетом различных ограничений. В этом и состоит задача оптимизации.

Например, те, кто занимается транспортной оптимизацией, минимизируют время, затраты на проезд по платным автострадам, топливо, расходы на эксплуатацию транспортных средств.

Как глубоко нужно знать математику

Диплом механико-математического факультета МГУ точно не обязателен, чтобы стать дата-сайентистом. Джуниору-специалисту достаточно базовых знаний, но вот чтобы расти в профессии, придется углубиться.

Ответ на вопрос: «Как глубоко надо знать математику?» зависит от того, как много вы хотите зарабатывать и какую должность занять. Со специальным образованием начинать будет проще, но в целом проблем освоить специальность нет, главное — относиться к математике осознанно и понимать то, что вы делаете, а не зубрить.

Математика на собеседованиях в Data Science: к чему готовиться, в каком формате могут быть вопросы

На собеседованиях могут попросить как решить простую математическую задачу, так и предложить алгоритм решения какой-то прикладной рабочей проблемы — от подготовки данных до оценки результатов анализа. Также вас могут попросить пройти компьютерное тестирование на мышление и логику, время на выполнение которого будет ограничено, или же задать несколько устных вопросов.

Вопросы из разных разделов статистики можно посмотреть тут:

• Теория вероятностей;
• Корреляция;
• Линейная регрессия;
• Логистическая регрессия.

• Анализ тональности отзывов на один из продуктов (данных не всегда хватает, они могут быть грязными и немногочисленными).
• Написать тематический классификатор поисковых запросов (задача многоклассовой классификации).

Полезные ссылки

Книги:

• «Статистика и котики», Вл. Савельев.
• Книги по программированию и машинному обучению издательства O’Reilly (многие переведены на русский).
• Сборник задач по теоретическому машинному обучению В. Кантора и др.
• «Голая статистика», Ч. Уилан.
• «Математика с дурацкими рисунками», Орлин Б.
• «Время переменных. Математический анализ в безумном мире», Орлин Б.
• «Удовольствие от Х», С. Строгац.
• «Essentials of Statistics for The Behavioral Sciences», Frederick J. Gravetter.
• «Calculus», James Stewart.

Бесплатные курсы:

• Лекции Физтеха по разным областям математики.
• Математика для анализа данных, курс НИУ ВШЭ.

Видео и каналы:

• Канал по линейной алгебре на английском.
• Маткульт-привет!, канал доктора физико-математических наук Алексея Савватеева о математике.

Базовую математику для Data Science реально освоить, не имея опыта в этой сфере. На курсе «Математика для Data Science» вы узнаете, как знание математики и статистики работает в решении реальных задач. В курсе много практики, которая не ограничивается решением классических уравнений и абстрактных заданий.

Data Scientist

Дата-сайентисты решают поистине амбициозные задачи. Научитесь создавать искусственный интеллект, обучать нейронные сети, менять мир и при этом хорошо зарабатывать. Программа рассчитана на новичков и плавно введет вас в Data Science.

Какая математика нужна для Data Science?

Сложные математические дисциплины не кажутся такими далекими и не применимыми на практике, когда речь идёт об анализе данных. Data Science изучают и интерпретируют данные, систематизируют огромные объемы информации. В этом им и помогают знания некоторых разделов математики. Теория, аксиомы, графики и формы — всё это находит применение в работе. Tutortop решил выяснить, какая именно математика важна для анализа данных и что из специальной литературы можно почитать.

Среди разделов математики, важных для Data Science выделяют:

• теорию вероятности и статистику;
• линейную алгебру;
• математический анализ и оптимизацию;
• дискретную математику.

Знания математики прежде всего важны для понимания внутренних процессов. При помощи этой науки возможно понять, как корректно проанализировать данные и на их основе выстроить модель для обучения алгоритма.

Теория вероятности и статистика

Data Scientists должны иметь общее представление о теории вероятности и статистике, знать основные понятия. Сама по себе статистика была задумана в качестве науки о данных: исследования, проводившиеся в этой области помогали выявить определенные закономерности. Она хорошо помогает, когда нужно найти зависимость между двумя или более входными данными. Например, понять, в какой из дней чаще всего пользователи покупали товар. И теория вероятности, и статистика выручают, когда речь идёт о большом массиве данных с конечным результатом. Представьте, что нужно вычислить закономерность или понять, случайно или нет пользователи закрывают всплывающее окно: здесь поможет теория вероятности.

Помимо этого аналитики данных пользуются статистикой и теорией вероятности для проверки гипотез. Они следят за колебаниями, отслеживают реакцию пользователей и выявляют тенденцию в их выборе.

Линейная алгебра

Большой и значимый раздел математики, необходимый для понимания того, как алгоритмы вступают в связь с потоком данных. В ней есть векторы, матрицы и наборы матриц. Даже самую сложно структурированную или обширную информацию можно представить в виде матрицы. Допустим, вам выдали таблицу погашения кредита с расчетами на каждый месяц. Целиком её можно назвать набором матриц, один месяц содержит массив цифр или считается просто матрицей, а цифры внутри таблицы — векторы. Более приближенный к этой сфере пример — набор приложений с разным функционалом. Каждое из них содержит совершенно разную информацию, но имеет какие-то общие входные данные. Если есть цель, провести комплексный анализ: о пользователях, их предпочтениях, количествах кликов, регистрации и других показателях, то важна вся информация. Набор данных по каждому приложению — это вектор. А собранная информация по всем приложениям — матрица.

Алгоритмы нейросети применяют линейную алгебру для анализа сетевых структур. Её также используют при создании рекомендательных систем. При хорошем понимании понятия “матрица” и “набор матриц” аналитику данных легче разобраться в работе инструментов для работы.

Математический анализ и оптимизация

Математический анализ кажется прям-таки университетской дисциплиной, которая ну вряд ли пригодится в работе. Без него не получится изучить deep learning (так называют вид машинного самообучения при помощи нейронных сетей, в нем используется большой набор данных). Этот раздел включает в себя интегралы и дифференциалы. В анализе данных они нужны в большинстве случаев для оптимизации: при её помощи легче подобрать параметры для каждой функции. Ещё одна задача оптимизации — свести к минимуму количество ошибок и найти более подходящий вариант для поддержания задачи “на плаву”. Минимизация рисков нужна в любой из сфер: например, уменьшить расходы на аренду помещения, доставку товара, топливо.

Дискретная математика

В основе вычислительных систем, важных для анализа данных, лежат как раз основы дискретной математики. Эти знания помогут применять алгоритмы и структурировать данные для дальнейшей работы. Лучше всего начать с изучения основ индуктивной и дедуктивной логики, а также функции роста и других счетных функции. Чаще всего знания из дискретной математики используются аналитиками данных при поиске наиболее быстрого алгоритма.

Что из математики могут спросить на собеседовании

Разброс вопросов большой: перед собеседованием стоит подготовиться к тому, что задачка может быть как теоретической, так и прикладной. Математическое задание по одному из разделов или же алгоритм решения проблемы — тут уже на выбор принимающей стороны.

Обучение математике для аналитики данных

Изучение базовой математики для анализа данных возможно даже с нуля. Использовать для этого только учебники — не всегда эффективно. Как в любом деле, здесь важна практика и прикладные задачи. При этом Tutortop не уменьшает значения профильной литературы: хорошими книгами по математике для data science мы поделимся ниже, а пока расскажем о том, как быстро и эффективно погрузиться в эту дисциплину. Стоит попробовать пойти на онлайн-курсы: математика для data science. Они составлены таким образом, что слегка скучная и для многих непонятная теория применяется для решения реальных рабочих задач. Практики обрадуются, что им больше не нужно будет сидеть над решением уравнений: на курсе расскажут и покажут, какая польза этих самых уравнений для работы, как проще подходить к делу и справляться с задачами в разы быстрее.

Вот несколько таких курсов, на которые стоит обратить внимание:

• Data Scientist с гарантией трудоустройства от Eduson Academy
• Профессия: Data Scientist с гарантией трудоустройства от ProductStar
• Data Scientist: с нуля до middle от Нетологии

Базовые книги по математике

«Линейная алгебра», В. А. Ильин, Э. Г. Позняк

Учебник сделали для ребят, обучающихся по специальностям «Физика» и «Прикладная математика». В нем есть информация о теории матриц и определителей, конечномерных линейных и евклидовых пространств, а также хорошее объяснение системы линейных уравнений. Это качественная и проверенная временем теория, которую при должном уровне старания легко применить на практике.

«Время переменных. Математический анализ в безумном мире», Орлин Б.

Если первая книга основательная и более серьезная, то эта — полная противоположность. Бен Орлин написал 28 небольших рассказов, которые посвящены разным аспектам математики. Плюсом к рассказам идут авторские рисунки, уместные шутки и так называемый игровой формат обучения.

«Практическая статистика для специалистов Data Sciencе», П. Брюс, Э. Брюс

Авторы доступным языком рассказывают о ключевых понятиях из статистики, которые имеют отношение к анализу данных. Они объясняют, почему именно эти понятия важны в работе, а на какие стоит обращать меньше внимания. В книге раскрываются такие темы, как проверка значимости, классификация, регрессия, разведочный анализ данных и другие. По уровню знаний она подойдет тем, кто уже знаком с основными понятиями статистики и сталкивался с ней в учебе или работе.

«Курс математического анализа», Л. Д. Кудрявцев

Хороший учебник для тех, кто хочет подробнее узнать о дифференциальных и интегральных исчислениях, теории рядов, функциональном и гармоническом анализе. Эту книгу также рекомендуют для студентов математических и физико-математических специальностей. Большой её плюс в том, что тщательно разбираются аналитические методы, которые важны в работе data science.

Хочу изучать математику для анализа данных!

Если вы хотите прокачать свои знания для работы, то ищите подходящий курс на сайте tutortop. Для вас мы сформировали отдельную подборку лучших онлайн-курсов на рынке и сравнили их по множеству показателей.

Математика для Data Scientist: необходимые разделы

Математика — это краеугольный камень Data Science. Хотя некоторые теоремы, аксиомы и формулы кажутся слишком абстрактными и далекими от практики, на самом деле без них невозможно по-настоящему глубоко анализировать и систематизировать огромные массивы данных.

Для специалиста Data Science важны следующие направления математики:

• статистика;
• теория вероятностей;
• математический анализ;
• линейная алгебра.

Статистика и теория вероятностей

Сложно переоценить важность знания статистики для Data Scientist любого уровня. Все классическое machine learning основано на statistical learning. Более того, на нем же основываются стандартные A/B-тесты.

Источники для вдохновения:

All of Statistics
Larry Wasserman

Как пишет сам автор: «This book is for people who want to learn probability and statistics quickly».

В книге даются все основные положения теории вероятностей и статистики.

Основы статистики (3 части)
Образовательная платформа Stepik

Курс по статистике для новичков. Охватывает все элементарные понятия.

Statistics Fundamentals Succinctly Katharine
Alexis Kormanik

В предыдущей статье уже была рекомендована эта книга, но повторить будет не лишним. 🙂

В первых разделах приведены основные определения с иллюстрациями и комментариями, в последних раскрывается значимость T- и Z-тестов. Материалы изложены доступным языком, с минимально необходимым математическим аппаратом. Это руководство — отличное введение в статистику с точки зрения практики.

Теория вероятностей и математическая статистика
Н. Ш. Кремер

Учебник ориентирован на экономистов, поэтому сложность и глубина понятий не шокирует новичка в Data Science. Подходит для изучения основ перед погружением в профильную литературу.

Теория вероятностей и математическая статистика
А. И. Кибзун, Е. Р. Горяинова, А. В. Наумов, А. Н. Сиротин

Этот базовый курс дает более глубокие представления, чем предыдущий. Кроме
теории включает практические задания и справочные материалы.

Основные понятия теории вероятностей и математической статистики
М. Я. Кельберт, Ю. М. Сухов

Прекрасный вариант для тех, кто уже хорошо знаком с темой и хочет получить более глубокие знания.

Математический анализ

На первый взгляд это направление необходимо больше в стенах университетов, однако без него не удастся разобраться с backpropagation или качественно освоить курс по deep learning.

Восполнив пробелы в статистике, самое время приступить к изучению материалов по этому разделу. А их превеликое множество.

Calculus
edX

Курс от Массачусетского технологического института, состоящий из 3 частей:

• Calculus 1A: Differentiation — курс о нахождении производной, ее геометрической интерпретации и физическом смысле.
• Calculus 1B: Integration — курс о нахождении интеграла, его связи с производной и применении в инженерном проектировании, научном анализе, теории вероятностей и статистике.
• Calculus 1C: Coordinate Systems & Infinite Series — курс об исчислении кривых, системах координат, приближении функций к полиномам и бесконечных рядах. Все это необходимо для построения математических моделей реального мира.

Calculus One
Образовательная платформа Coursera

Курс ориентирован на новичков, но удобная подача материала поможет освежить память и бывалым Data Scientist.

Khan Academy
Образовательная платформа

Разнообразные материалы, представленные на ресурсе, отлично подойдут для старта изучения математики, программирования и информатики.

Calculus
James Stewart

Книга славится тщательно проработанным содержанием и довольно простым языком.

Курс математического анализа
Л. Д. Кудрявцев

Для тех, кто хочет получить более фундаментальные знания о дифференциальных и интегральных исчислениях, теории рядов, функциональном и гармоническом анализе.

1. Single Variable Calculus — курс для самостоятельного изучения дифференцирования, интегральных исчислений и бесконечных рядов.
2. Multivariable Calculus — еще один курс для самостоятельного изучения дифференцирования, а также интегрального и векторного исчислений функций нескольких переменных.

Линейная алгебра

Без этого раздела математики не получится разработать методы machine learning, смоделировать поведение различных объектов или оптимизировать процесс кластеризации и уменьшения размерности описания данных.

Linear Algebra
Georgi E. Shilov

В учебнике изложен прекрасно проработанный материал. Книга подойдет для изучения вводного курса в линейную алгебру.

Линейная алгебра
В. А. Ильин, Э. Г. Позняк

Этот учебник был написан на базе лекций преподавателей физического факультета МГУ. Все материалы изложены доступным языком и подойдут для глубокого изучения основных теорий линейной алгебры.

И напоследок еще одна рекомендация — учебный курс Linear Algebra от MIT. Он раскрывает теорию матриц и положения линейной алгебры.

• data science
• математика
• чтение книг
• самообучение
• саморазвитие
• новичкам на заметку
• линейная алгебра
• теория вероятностей
• статистика
• математический анализ

• Блог компании Plarium
• Data Mining
• Big Data
• Математика
• Читальный зал