Так, в 2019 году в соцсети Facebook произошел масштабный сбой программы, в результате компания понесла убытки на 90 млн долларов. Вместо повторения названий всех алгоритмов мне хочется дать шесть советов для начинающих и опытных перформанс-инженеров. Поэтому не нужно использовать сайт Sci-Hub, который позволяет мгновенно получить бесплатный доступ практически к любой публикации. В Twitter есть хороший совет на тему того, что не нужно добавлять на панель закладок скрипт, который дописывает sci-hub.tw к доменному имени. Ведь это позволит получить нелегальный доступ к бесценным знаниям вообще в один клик. Но, должен признаться, я сам их активно использовал около пяти лет.
Построим некоторым образом кривую, задающее соотношение между размером деградации и количеством итераций, которые мы готовы совершить, чтобы эту деградацию обнаружить. Есть некоторый процент ложноположительных результатов, но я трачу на их просмотр не более двух-трёх минут в день. Зато мы каждый месяц успешно находим несколько довольно критичных реальных перформанс-проблем благодаря этой системе.
Среднее арифметическое
Мы просто падаем, если время теста превысило заданный таймаут. Этот способ очень плохой, так как он слишком зависит от железа, на котором исполняется тест. Глядя на этот график, многие мои коллеги говорят мне, что нельзя анализировать замеры в такой ситуации.
А в таком случае может заинтересовать и следующий Heisenbug. Конкретно матстатистики там не обещаем, но тема тестирования производительности там будет, как и другие разновидности тестирования. Я подготовил для вас подборку из нескольких книжек, с которых можно начать перформанс тестирование вникать в данную дисциплину. Но даже когда такой набор инструментов будет готов, необходимость разбираться в математической стороне вопроса никуда не уйдет. Без этого вы просто не сможете выбрать правильный метод, который нужен в конкретной ситуации конкретно вам.
Усеченная квантильная оценка Харрела-Дэвиса
Либо в тех проектах, где скорость критична для работы системы. Кстати, «многопользовательская» нагрузка — это не всегда люди. К примеру, IoT с большим количеством устройств и потоком данных, которые «стекаются» с датчиков и нуждаются в обработке. Дальше идет процесс разработки и проверка готовых частей продукта. Благодаря итеративным подходам, изучать производительность (скорость, стабильность и масштабируемость продукта) можно уже на стадии, когда готов какой-то минимальный код. «Заходить» с perfomance-тестами только перед релизом — плохая практика.
- Нарушения в работе сайта негативно отражаются на клиентском опыте, снижают процент конверсии и, как результат, компания теряет в доходах и репутации.
- Знание таких феноменов очень помогает при анализе значений замеров.
- Сгенерируем много выборок из нормального распределения.
- При этом главная цель — забота о том, насколько комфортно конечному пользователю будет работать с системой.
Но вместо суммы элементов, для каждой выборки мы считаем максимум. Теперь мы готовы перейти к первой теореме теории экстремальных значений, которая также известная как теорема Фишера-Типпетта-Гнеденко. Но на самом деле это график с уровнями наводнений в г. А вот если площадь водоема оказалась больше площади подземных вод, то это глубоководье, разделяющее две моды. Ну а сами моды находятся на самых высоких точках графика между глубоководными водоемами.
Квантильная оценка плотности (QRDE)
На практике мы не должны волноваться о всех деградациях, нас интересуют только самые большие деградации. Давайте теперь попробуем использовать всё это на практике. Представим, что мы сделали итераций некоторого бенчмарка и стабильно получали значение около одной минуты. Вероятность ошибки второго рода обозначается буквой β.
Можно попробовать добавить больше нагрузки, и тогда наверняка какой-то из компонентов выйдет из строя. И это может быть не только приложение или база данных. Ядро Linux, многие приложения, которые, казалось бы, оттестированы годами, при большой нагрузке могут внезапно отказать. Locust может работать как локально, так и распределенно, для большей нагрузки. Фреймворк предназначен в первую очередь для тестирования веб-приложений, но ты легко можешь написать плагин для работы с нужным протоколом.
Основные проблемы
Вы платите не за выполненные работы, а за полученный результат. Некоторые агентства, например, работают по модели revenue-share. Это значит, что агентство https://deveducation.com/ покрывает все маркетинговые расходы, включая производство креативов — а клиенты просто платят ему часть прибыли, сгенерированной для них.
Суммируя эти значения, мы получаем так называемое mvalue, которое в данном случае будет равно двум. Строго говоря, в таких случаях плотность должна улетать в бесконечность, т.к. Этот метод рассчитан на непрерывные распределения, в которых вероятность возникновения двух одинаковых элементов околонулевая.
Описательная статистика перформанс-распределений
При выборе метрики центральной тенденции важно понимать, что мы хотим получить и зачем. Другое дело — медиана, которая по определению разделяет распределения на две равные части. Игра в выбрасывание выбросов может легко увести нас в плохую сторону. Я хочу проиллюстрировать важность выбросов одним интересным примером. Он взят из книжки Кэндела 1991 года про изменения климата.
Similar to Честное перформанс-тестирование / Дмитрий Пивоваров (ZeroTurnaround)
Однако, данные, которые позволили это сделать, были в наличии уже несколько лет. В алгоритме анализа данных ребята решили не учитывать выбросы. Видим слишком низкое значение — убираем его из рассмотрения, чтобы наши средние характеристики не портились. Но если выкидывать из рассмотрения аномальные значения, то обнаруживать аномалии резко становится сложнее. Аналогичная ситуация имеет место быть в мире перформанс‑замеров. Сгенерируем много выборок из нормального распределения.