Automated test script что это

Автоматизация тестирования программ

Автоматизированное тестирование программного обеспечения — основные понятия

Автоматизированное тестирование программного обеспечения (Software Automation Testing) — это процесс верификации программного обеспечения, при котором основные функции и шаги теста, такие как запуск, инициализация, выполнение, анализ и выдача результата, выполняются автоматически при помощи инструментов для автоматизированного тестирования.

Специалист по автоматизированному тестированию программного обеспечения (Software Automation Tester) — это технический специалист (тестировщик или разработчик программного обеспечения), обеспечивающий создание, отладку и поддержку работоспособного состояния тест скриптов, тестовых наборов и инструментов для автоматизированного тестирования.

Инструмент для автоматизированного тестирования (Automation Test Tool) — это программное обеспечение, посредством которого специалист по автоматизированному тестированию осуществляет создание, отладку, выполнение и анализ результатов прогона тест скриптов.

Тест Скрипт (Test Script) — это набор инструкций, для автоматической проверки определенной части программного обеспечения.

Тестовый набор (Test Suite) — это комбинация тест скриптов, для проверки определенной части программного обеспечения, объединенной общей функциональностью или целями, преследуемыми запуском данного набора.

Тесты для запуска (Test Run) — это комбинация тест скриптов или тестовых наборов для последующего совместного запуска (последовательного или параллельного, в зависимости от преследуемых целей и возможностей инструмента для автоматизированного тестирования).

Автоматизация тестирования программных систем

На сегодняшний день мало кто сомневается в целесообразности проведения процесса тестирования разрабатываемых программных продуктов. Целью любого проекта по тестированию является обеспечение качества разрабатываемого продукта. Автоматизация повышает эффективность тестирования и, следовательно, улучшает качество создаваемого программного обеспечения (ПО). Основная задача статьи – создать у читателя достаточно чёткую картину того, что собой представляет автоматизация тестирования.

Основные понятия

Первое, с чего мне хотелось бы начать – это освежить в вашей памяти основные термины и понятия, которые будут использованы в данной статье в дальнейшем:

Тестирование – процесс, содержащий в себе все активности жизненного цикла, как динамические, так и статические, касающиеся планирования, подготовки и оценки программного продукта и связанных с этими результатами работ с целью определения их соответствия описанным требованиям, и демонстрации их пригодности для заявленных целей и определения дефектов;
Автоматизация тестирования – использование программного обеспечения для осуществления или помощи в проведении определенных тестов процессов, например, управление тестированием, проектирование тестов, выполнение тестов и проверка результатов;
Автоматизированное тестирование ПО – процесс тестирования ПО, при котором основные функции и шаги теста, такие как запуск, инициализация, выполнение, анализ и выдача результата производятся автоматически с помощью некого стека технологий, в котором главное место занимает инструмент для автоматизированного тестирования;
Инструмент для автоматизированного тестирования – это ПО, посредством которого специалист по автоматизированному тестированию осуществляет создание, отладку, выполнение и анализ результатов прогона тест-скриптов;
Интерфейс программирования приложений (иногда интерфейс прикладного программирования) (англ. application programming interface, API [эй-пи-ай]) — набор готовых классов, процедур, функций, структур и констант, предоставляемых приложением (библиотекой, сервисом) для использования во внешних программных продуктах. Используется программистами для написания всевозможных приложений;
Нагрузочное тестирование – вид тестирования производительности, проводимый с целью оценить поведение компонента или системы под увеличивающейся нагрузкой (число одновременно работающих пользователей и/или число транзакций) для определения максимально допустимого уровня нагрузки для исследуемого компонента или системы;
Регрессионная спираль смерти – данный эффект наступает тогда, когда на тестирование проекта тратится все больше и больше времени, т.к. готовой функциональности в продукте становится все больше и надо постоянно контролировать, что она по-прежнему работает;
Регрессионное тестирование – тестирование уже протестированной программы, проводящееся после модификации для уверенности в том, что процесс модификации не внес или не активизировал ошибки в областях, не подвергавшихся изменениям. Проводится после изменений в коде программного продукта или его окружения;
Тест-скрипт – это набор инструкций, для автоматической проверки определенной части ПО;
Тестовый набор – это комбинация тест-скриптов, для проверки определенной части ПО, объединенной общей функциональностью или целями, преследуемыми запуском данного набора;
Тестовые данные – данные, которые существуют (например, в базе данных) на начало выполнения теста\тест-скрипта и влияют на работу, или же испытывают влияние со стороны тестируемой системы или компонента;
Фреймворк (англ. framework — каркас, структура) — структура программной системы; программное обеспечение, облегчающее разработку и объединение разных компонентов большого программного проекта. (Употребляется также слово «каркас», а некоторые авторы используют его в качестве основного, в том числе не базируясь вообще на англоязычном аналоге);
Функциональное тестирование – тестирование, основанное на анализе спецификации функциональности компонента или системы.

Виды тестирования

Немного разобравшись с основными понятиями, предлагаю вам рассмотреть и основные виды тестирования:
• Первым пунктом в этом списке стоит нагрузочное тестирование. Без автоматизации его выполнение трудно себе представить (программными продуктами имитируется нагрузка следующим образом: подключаются виртуальные пользователи, выполняющие различные скрипты (действия), по различным сценариям.);
• Следом идёт регрессионное тестирование. Ошибки, которые возникли после внесения изменений в программу называют регрессионными ошибками (англ. regression bugs). Выполняется с регулярной частотой, задаваемой в зависимости от многих условий: может проводиться с каждой новой сборкой проекта или с каждой версией для заказчика;
• Функциональное тестирование проводится в целях проверки реализуемости функциональных требований, то есть способности ПО в определённых условиях решать задачи, нужные пользователям. (Одна из основных задач автоматизации регрессионного\функционального тестирования заключается в том, чтобы уберечь проект от регрессионной спирали смерти.)

Преимущества и недостатки автоматизированного тестирования

Но всё ли так хорошо и красиво, как описано выше? Для ответа на эти вопросы, предлагаю «взвесить все за и против», чтобы сделать для себя соответствующие выводы.

Преимущества:
• Исключен «человеческий фактор» во время выполнения: тест-скрипт не допустит ошибки по неосторожности;
• Быстрое выполнение;
• Автоматически формируемые и сохраняемые отчёты о результатах тестирования;
• Выполнение в фоне – во время выполнения тестов можно заниматься другими задачами или выполнять тест-скрипты в нерабочее время.

Недостатки:
• Однотипность – все написанные тесты всегда будут выполняться строго по алгоритму, реализованном в них, в то время как тестировщик, выполняя тест вручную, может обратить внимание на некоторые детали и найти дефект. (Например, после очередного обновления проекта на форме операции было добавлено необязательное поле, но разработчик допустил ошибку и формат данных для ввода оказался не верным. Во время функционального\регрессионного тестирования приложения тест-скрипт отработает без ошибок, т.к. в его алгоритме взаимодействие с этим полем не реализовано.);
• Затраты на поддержку – чем чаще изменяется приложение, тем они выше. (В результате доработок конкретный функционал может изменяться, что приведёт к частичной или полной непригодности тест-скриптов. Перед специалистом по автоматизированному тестированию встанет задача привести тест-скрипт(ы) к актуальному состоянию.);
• Большие затраты на разработку тестового каркаса для конкретного проекта (фактически идёт разработка приложения, которое тестирует другое).

Внедрение автоматизированного тестирования

Прежде, чем задумываться о внедрении автоматизации тестирования, необходимо убедиться, что процесс контроля качества на ваших проектах выстроен, документирован и работает как часы. Помните, что внедрение автоматизации – это не дань моде. Это задача, призванная поднять контроль качества на вашем проекте на новый уровень, ввиду чего повышается эффективность тестирования проекта (без дополнительной головной боли).
Вторым шагом будет обращение к специалистам, которые помогут Вам поставить процесс автоматизации на профессиональном уровне и в сжатые сроки. Несомненно, можно пробовать развивать направление собственными силами, но без опытных специалистов этот процесс, вероятно, выльется в существенные сроки, будет проходить методом проб и ошибок, затронет больший бюджет, и, в конечном итоге, вполне может и вовсе отбить у вас всё желание применять автоматизированное тестирование.
При внедрении на проекты автоматизации тестирования «с нуля», в большинстве случаев рекомендуется разработка фрэймворка. Данный подход позволит вашим специалистам самостоятельно дорабатывать фреймворк и развивать покрытие тест-скриптами. На сегодняшний день это наиболее технологически продвинутое решение по соотношению цена / трудозатраты / эффективность.

К особенностям такого фрэймворка можно отнести:
• Максимальная повторная используемость кода: фактически создается API, который обеспечивает управление процессом выполнения;
• Применение методик Data Driven (тестирование по одному и тому же сценарию, проводимое при различных наборах и/или значений исходных данных);
• Все сценарии тестирования (test cases) и пакеты запуска (test suites) также описываются во внешних файлах что позволяет легко управлять параметрами запуска;
• Фреймворк обладает максимальной гибкостью: вы можете легко добавлять, удалять, редактировать существующие сценарии тестирования и пакеты запуска, при этом для данной задачи не требуется дополнительной квалификации, необходимо лишь умение работать с фреймворком;
• В систему легко могут быть добавлены новые операции, или изменены существующие; при этом не потребуется каких-либо сложных действий, необходимо будет только написать новую функцию. Это позволяет легко и безболезненно расширять сам фреймворк;
• Для многих отделов тестирования данное решение может оказаться панацеей, т.к. по результатам разработки фреймворка и проведения краткого обучения работе с ним, требования к квалификации специалистов, покрывающих систему авто тестами, существенно снижается, достаточно навыков работы XML.

Итоги

Напоследок стоит отметить, что целью автоматизации является повышение эффективности процесса (в данном случае тестирования) за счёт высвобождения специалистов и, следовательно, уменьшения затрат.
При рассмотрении вопроса автоматизации стоит помнить о затратах на внедрение. Большинство средств автоматизации тестирования являются платными, кроме того, требуются дополнительные трудозатраты на адаптацию. Поиск баланса между ручным и автоматизированным тестированием любого программного продукта является важной задачей подразделения тестирования в любой организации.

automation testing
testing

Автоматизированное или ручное тестирование – что выбрать?

Независимо от типа проекта, будь то вебсайт, SaaS платформа или же мобильное приложение, Вы должны определиться какой же тип тестирования выбрать – ручное или автоматизированное тестирование? Английская версия статьи manual testing vs automated testing. Существует огромное количество разных типов тестирования, которые относятся как к ручному (мануальное), так и автоматическому. Но сперва давайте узнаем, что такое ручное тестирование в веб-разработке.

Что такое автоматизированное тестирование?

Автоматизированное тестирование это процессы, которые запускают программы и скрипты для тестирования отдельных модулей, используя повторяющиеся действия. Фактически, это значит, что программа запускает определенные скрипты, чтобы проверить все составляющие проекта и оценить его. Для того, чтобы создать программу тестирования требуются определенные ресурсы.

В автоматизированном тестировании должен присутствовать тестировщик, который создаст программу и затем будет ее запускать. Наиболее популярной программой тестирования является Selenium Web Driver IDE. Используя язык Java или Python Вы можете начать тестирование. Кстати, если эти два языка входят в список программных языков 2019 года.

Плюсы автоматизированного тестирования:

Качество. Точность результатов тестирования напрямую зависит от уровня разработчика. Однако по большей части, точность результатов близка к 99.9%. Практически все возможные варианты, к примеру, валидации формы, можно охватить написав 5 строчек кода.
Автозапуск. Технологии не стоят на месте. И если ранее программист должен был написал программу тестирования и запускать ее вручную – то сейчас это можно полностью автоматизировать. Общеизвестный факт, что в период с 2 до 5 утра нагрузка на сервер минимальная. Это является наиболее оптимальным временем запуска тестов. Но ведь не приходить же тестировщику в 3 утра в офис, или вовсе ночевать и жить там?
Выгодный. Большие проекты, особенно с высокой нагрузкой очень нуждаются в повышенном внимании и качестве. В долгосрочной перспективе, только автоматизированное тестирование будет выгодным и для финансового проекта, и для ecommerce сайта, и для веб проекта казино. Обратите внимание, на ecommerce тренды 2020. Более того, по статистике, чтобы заменить одного автоматизированного тестировщика требуется от 3 до 8 ручных тестировщиков. Средняя стоимость автоматизированного тестировщика составляет $25 в час. При условии работы с Восточно-Европейской компанией. Агентства из США берут от $55 в час.
Захватывающее. В отличии, от ручного тестирования, автоматизированное считается креативным. Потому что, тестировщик в этой роли выступает как программист.
Видимость результатов. Ручное тестирование в основе своей субъективное. Видимость результатов, эффективности, и статистика перед каждым релизом это важные особенности автоматизированного тестирования. Отчеты генерируются также в автоматическом режиме.
Расширенный функционал. Автоматизированное тестирование связано напрямую с вебсайтом. Это можно назвать его скрытой темной стороной. Вы имеете доступ к бекэнд и можете оценить практически любые параметры. Нагрузка, проходимость сервера, строить прогнозы. Работая с аналитиками, и data science инженерами представляется огромная польза для компании.

Manual Testing VS Automated Testing: Difference, Definition & Tools

Минусы автоматизированного тестирования

Стоимость тестировщика. Обращая внимание на тот факт, что в данном случае тестировщик является программистом – значит и его цена выше.
Время. Время запуска тестов, как и их продолжительность очень высоки. Однако требуется некоторое время чтобы написать те самые тесты. В таком случае в фазы веб разработки входит тестирование, и идет в буквальном смысле бок-о-бок с программированием. Тем временем тестировщик пишет автотесты, чтобы покрыть работающие части кода.
Тестирование глазами пользователя. Вы никогда не сможете протестировать сайт глазами пользователя используя автоматизированное тестирование. Все просто, ведь программа создает отчеты. А тестировщик, всего лишь управляет ею и контролирует работу.
Ограничения. Ограничения в невозможности тестировать цвета, гамму, и UX. Эти пункты, хоть и являются второстепенными, но без должного внимания к ним, Ваши пользователи вряд ли смогут наслаждаться платформой на 100%.

Что такое ручное тестирование в разработке?

Ручное тестирование, это процессы через которые разработчики, или manual QA тестировщик тестируют продукт: вебсайт, платформу, SaaS, что угодно чтобы найти дефекты и ошибки. Ручное тестирование идеально подходит для тех проектов с малым бюджетом, либо же краткосрочных (до 2 месяцев). Ручное тестирование проходит от лица тестировщика, который выступает как конечный пользователь системы.

Проверяет все функции, ссылки, пункты меню и т.д. Чтобы избежать поломанных ссылок, или не рабочего функционала. Часто тестировщик также использует несколько браузеров, чтобы охватить как можно больше пользователей, и само собой мобильную версию. К примеру, наиболее популярны Chrome, Firefox, Safari, IE11, Edge. С мобильными устройствами все несколько проще – всего лишь Google Chrome и Safari для iOS устройств. Но встает вопрос – стоит ли начать с вебсайта или мобильного приложения? Или же оба одновременно?

Какие же плюсы ручного тестирования?

Низкие затраты. В краткосрочной перспективе, это финансово выгодное решение.
Позволяет увидеть сайт глазами пользователя. Тестировщик, это в первую очередь программист. Имея знания в проектировании интерфейсов, графическом интерфейсе, бэкенд части, фреймворков и их взаимодействия. Он ходит по сайту имея за спиной все эти навыки, и конечно же навыки «пользователя».
Гибкость. Если проект проектируется и программируется по методологии Agile, Скрам или Канбан, возможно это наибольшее преимущество. Если Вы быстро внедряете новые функции, и хотите быть уверенными, что они работают правильно – ручное тестирование позволяет сделать это быстро.

Минусы ручного тестирования

Ограничения. К сожалению, нельзя проверить в ручном режиме все угодно. К примеру, нагрузочное тестировании практически нереально. Чтобы узнать какую веб-сервер сможет выдержать нагрузку – нужно фактически дать такую нагрузку.
Скучное. По больше части касается непосредственно самого тестировщика, однако повторение одних и тех же действий, может быть несколько скучными для человека.
Качество. На больших проектах ручное тестирование теряет свое качество. Нехватка времени, и рассеивание внимания стоят на первых местах.

Автоматизированное или ручное тестирование?

Прежде всего к Вам, как к владельцу проекта, несколько вопросов:

Какой срок и объем Вашего проекта?
Имеет ли значение поддержка платформы?
Ищите ли Вы выгодное и доступное решение в области тестирования?

Если хоть бы на один из вопросов Вы ответили положительно, значит Вам скорее всего подойдет автоматизированное тестирование. Особенно это незаменимо при создании маркетплейсов или при создании приложений по доставке еды. В нашем опыте, достижение наилучшего результата возможно только объединив оба типа тестирования. Это позволит минимизировать риски, смягчить затраты и выпустить желаемый продукт очень быстро. Тем более, что Вы также решите визуальную составляющую, тренды веб дизайна 2019помогут Вам в этом.

Кому нужно автоматизированное или ручное тестирование?

В первую волну попадают SaaS платформы, и те которые «делают деньги» со своего сайта. Онлайн казино, торговые площадки. Высоко нагруженные проекты из любой отрасли также нуждаются в автоматизированном тестировании. Ручное тестирование идеально подходит для вебсайтов для малого бизнеса, персональных сайтов и других маленьких веб проектов.

Оцените (146 оценки — 4.4 из 5)