Когда тестирование выпало из DevOps, и как его туда вернуть - Руслан Ахметзянов Qameta Software
←
→
Транскрипция содержимого страницы
Если ваш браузер не отображает страницу правильно, пожалуйста, читайте содержимое страницы ниже
Когда тестирование выпало из DevOps, и как его туда вернуть Руслан Ахметзянов Qameta Software
Кто я такой?
• Пытаюсь сделать так, чтобы люди
узнали, кто делает Allure Report.
• Меня подозревают в том, что я буду
продавать Allure TestOps.
А вообще мы вместе с Темой Ерошенко,
просто стараемся сделать жизнь
тестировщиков чуть приятнее.
Qameta Software @ DevOops 2021 2
Qameta Software @ DevOops 2021 3
Разработчики пишут тесты
Qameta Software @ DevOops 2021 4
Я пишу код и
Я знаю, как надо
качу его в прод. ДевОпс
тестировать
У меня все ок. Инженер
Я знаю, как Я слежу за всем,
автоматизировать чтобы работало
Qameta Software @ DevOops 2021 5
ДевОпс
Инженер
Не говорите Баруху
Я слежу за всем,
чтобы работало
Что сейчас?
1. Есть пайплайн.
2. Есть quality гейты.
3. Автотесты гоняются.
4. Ручные тестировщики пишут
сложные / новые тесты.
5. Все работает!
Qameta Software @ DevOops 2021 7
Вот как-то так, да? DevOps же!
Qameta Software @ DevOops 2021 8
Qameta Software @ DevOops 2021 9
Невидимая сторона
Qameta Software @ DevOops 2021 10Тестировщики пишут тесты
We know nothing about them, their language, their
history or what they look like. But we can assume
this. They stand for everything we don’t stand for.
Qameta Software @ DevOops 2021 11TestOps
Lyfecycle M1 M2 M3
A1 A2 A3
T1 T2 T3
Qameta Software @ DevOops 2021 12Выглядит как-то так
Все тесты долго
У меня гонять, давайте
покрытие Dev Ops Canary Release
80%, мне
норм
QA
Дайте мне день на
написание новых кейсов и
два на прогон
Qameta Software @ DevOops 2021 13Получается как-то так
Все процессы уже
готовы!
Dev Ops
Сами напишем!
Ох, ё! пойду
обновлю чек-листы
QA
Qameta Software @ DevOops 2021 14Qameta Software @ DevOops 2021 15
Ручное тестирование старается!
1. Они крутые специалисты,
но не успевают
Qameta Software @ DevOops 2021 16Ручное тестирование старается!
1. Они крутые специалисты,
но не успевают
1. Писать тесты на новую
функциональность
Qameta Software @ DevOops 2021 17Ручное тестирование старается!
1. Они крутые специалисты,
но не успевают
1. Писать тесты на новую
функциональность
2. Прогнать тесты и
разобрать падения
3. Не было тулов
4. Не было обучения
5. Учиться-учиться-учиться!
Qameta Software @ DevOops 2021 18TestOps
Lyfecycle
Есть 9 стадий развития тестирования,
их смотрите на Heisenbug "Сказка о
потерянном времени“
Qameta Software @ DevOops 2021 19TestOps
Lyfecycle
Есть 9 стадий развития тестирования,
их смотрите на Heisenbug "Сказка о
потерянном времени“
Qameta Software @ DevOops 2021 20TestOps
Lyfecycle
Есть 9 стадий развития тестирования,
их смотрите на Heisenbug "Сказка о
потерянном времени“
Qameta Software @ DevOops 2021 21TestOps
Lyfecycle
Есть 9 стадий развития тестирования,
их смотрите на Heisenbug "Сказка о
потерянном времени“
Qameta Software @ DevOops 2021 22TestOps
Lyfecycle
Есть 9 стадий развития тестирования,
их смотрите на Heisenbug "Сказка о
потерянном времени“
Уже в YouTube на канале Qameta
Software! Ссылка в чате.
Qameta Software @ DevOops 2021 23M2-М3
Задачи:
• Начать мерять
Qameta Software @ DevOops 2021 24M2-М3
Задачи:
• Начать мерять
• Покрыть все крутыми е2е-тестами!
Qameta Software @ DevOops 2021 25M2-М3
Задачи:
• Начать мерять
• Покрыть все крутыми е2е-тестами!
• Оптимизировать ручную работу
Qameta Software @ DevOops 2021 26M2-М3
Задачи:
• Начать мерять
• Покрыть все крутыми е2е-тестами!
• Оптимизировать ручную работу
• Поверить в автоматизацию
Qameta Software @ DevOops 2021 27M2-М3
Задачи:
• Начать мерять
• Покрыть все крутыми е2е-тестами!
• Оптимизировать ручную работу
• Поверить в автоматизацию
Проблемы:
• М2 масштабируется только
увеличением числа людей
• М3 масштабируется до очень
большого предельного срока
• М3 все еще зависит от графика
работы людей
Qameta Software @ DevOops 2021 28M2-А1
Задачи:
• Начать автоматизацию
Qameta Software @ DevOops 2021 29M2-А1
Задачи:
• Начать автоматизацию
• Покрыть mission critical
кейсы
Qameta Software @ DevOops 2021 30M2-А1
Задачи:
• Начать автоматизацию
• Покрыть mission critical
кейсы
• Научиться генерить
автоматизированные
тест-кейсы и считать
пользу
Qameta Software @ DevOops 2021 31M2-А1
Задачи:
• Начать автоматизацию
• Покрыть mission critical
кейсы
• Научиться генерить
автоматизированные
тест-кейсы и считать
пользу
• Дока
Проблемы:
• Намного быстрее не
стало
• Стало запутанее!
Qameta Software @ DevOops 2021 32А1-A2
Задачи:
• Делаем кнопку для всех
Qameta Software @ DevOops 2021 33А1-A2
Задачи:
• Делаем кнопку для всех
• Делаем тесты
атомарными
• Готовим данные и API
Qameta Software @ DevOops 2021 34А1-A2
Задачи:
• Делаем кнопку для всех
• Делаем тесты
атомарными
• Готовим данные и API
• Обеспечиваем покрытие
е2е-автоматизации
Qameta Software @ DevOops 2021 35Автоматизаторы боятся
1. Спросить у разработчиков,
хороши ли тесты?
Qameta Software @ DevOops 2021 36Автоматизаторы боятся
1. Спросить у разработчиков,
хороши ли тесты?
2. Запускать / перезапускать
тесты самостоятельно
Qameta Software @ DevOops 2021 37Автоматизаторы боятся
1. Спросить у разработчиков,
хороши ли тесты?
2. Запускать / перезапускать
тесты самостоятельно
3. Работать c ожиданиями,
так как не владеют
инфраструктурой
Qameta Software @ DevOops 2021 38A2-A3
Задачи:
• Обеспечить простой запуск тестов
при помощи коллег, занимающихся
инфраструктурой
TestOops
Qameta Software @ DevOops 2021 39A2-A3
Задачи:
• Обеспечить простой запуск тестов
при помощи коллег, занимающихся
инфраструктурой
• Отдаем тестовую инфраструктуру:
эмуляторы, Selenium’ы и прочее
TestOops
Qameta Software @ DevOops 2021 40A2-A3
Задачи:
• Обеспечить простой запуск тестов
при помощи коллег, занимающихся
инфраструктурой
• Отдаем тестовую инфраструктуру:
эмуляторы, Selenium’ы и прочее
TestOops
• Отдаем тестерам мелкие штуки:
апдейты браузеров что-то еще
Qameta Software @ DevOops 2021 41A2-A3
Задачи:
• Обеспечить простой запуск тестов
при помощи коллег, занимающихся
инфраструктурой
• Отдаем тестовую инфраструктуру:
эмуляторы, Selenium’ы и прочее
TestOops
• Отдаем тестерам мелкие штуки:
апдейты браузеров что-то еще
Проблемы:
• Скорее всего, придется потратить
время на обучение коллег и набить
шишек
Qameta Software @ DevOops 2021 42Что делать?
Qameta Software @ DevOops 2021 43Что делать?
Dev Ops
QA
Qameta Software @ DevOops 2021 44А2-T2
Задачи:
• Нативные тесты на самые
частые ошибки
Qameta Software @ DevOops 2021 45А2-T2
Задачи:
• Нативные тесты на самые
частые ошибки
• Код-ревью с разработчиками
Qameta Software @ DevOops 2021 46А2-T2
Задачи:
• Нативные тесты на самые
частые ошибки
• Код-ревью с разработчиками
• Отдайте тестировщикам
контроль над тестовыми
серверами
Qameta Software @ DevOops 2021 47А2-T2
Задачи:
• Нативные тесты на самые
частые ошибки
• Код-ревью с разработчиками
• Отдайте тестировщикам
контроль над тестовыми
серверами
• Тестирование становится
прогнозируемым
• Начинаем использовать
нативные инструменты
Qameta Software @ DevOops 2021 48Выводы
• Поймите, что у вас в тестировании
Qameta Software @ DevOops 2021 49Выводы
• Поймите, что у вас в тестировании
• Что с менеджментом
Qameta Software @ DevOops 2021 50Выводы
• Поймите, что у вас в тестировании
• Что с менеджментом
• Что у автотестеров
Qameta Software @ DevOops 2021 51Выводы
• Поймите, что у вас в тестировании
• Что с менеджментом
• Что у автотестеров
• Что с результатами тестов
• (Пользуйтесь Allure Report!)
Qameta Software @ DevOops 2021 52Выводы
• Поймите, что у вас в тестировании
• Что с менеджментом
• Что у автотестеров
• Что с результатами тестов
• (Пользуйтесь Allure Report!)
• На каком оно этапе тестирование в вашем пайплайне
Qameta Software @ DevOops 2021 53Выводы
• Поймите, что у вас в тестировании
• Что с менеджментом
• Что у автотестеров
• Что с результатами тестов
• (Пользуйтесь Allure Report!)
• На каком оно этапе тестирование в вашем пайплайне
• Автоматизируйте!
Qameta Software @ DevOops 2021 54Выводы
• Поймите, что у вас в тестировании
• Что с менеджментом
• Что у автотестеров
• Что с результатами тестов
• (Пользуйтесь Allure Report!)
• На каком оно этапе тестирование в вашем пайплайне
• Автоматизируйте!
• Общайтесь!
Qameta Software @ DevOops 2021 55ВСЕМ TESTOPS!
• Делитесь ответственностью
• Делитесь экспертизой
Dev Ops
• Делитесь инструментами
QA
Qameta Software @ DevOops 2021 56Оставайтесь с нами
Twitter: @Ruslan_TestOps
Twitter: @QametaSoftware
Telegram: @allure_ru
GitHub Discussions: https://github.com/allure-
framework/allure2/discussions
Blog: https://qameta.io/blog/
Qameta Software @ DevOops 2021 57Вы также можете почитать
