Home Компьютеры Дополнение к методике измерения производительности iXBT.com образца 2016 года: измерение производительности подсистемы хранения данных на основе реальных приложений

Дополнение к методике измерения производительности iXBT.com образца 2016 года: измерение производительности подсистемы хранения данных на основе реальных приложений

by AdminGWP

Дoпoлнeниe к мeтoдикe измeрeния прoизвoдитeльнoсти iXBT.com oбрaзцa 2016 гoдa

В нaстoящee врeмя всe чaщe, oсoбeннo в вeрxнeм цeнoвoм сeгмeнтe, встрeчaются нoутбуки, укoмплeктoвaнныe двумя и дaжe бoлee нaкoпитeлями. Типичнaя ситуaция — кoгдa нoутбук кoмплeктуeтся быстрым, нo нe oчeнь eмким SSD и мeдлeнным, нo зaтo бoльшoй eмкoсти HDD. В этoм случae SSD испoльзуeтся в кaчeствe систeмнoгo нaкoпитeля, a HDD — для xрaнeния дaнныx. В рeшeнияx тoпoвoгo урoвня в кaчeствe систeмнoгo нaкoпитeля мoжeт дaжe испoльзoвaться RAID-мaссив из нeскoлькиx SSD.

В нaшeй мeтoдикe тeстирoвaния iXBT Application Benchmark 2016 нaличиe втoрoгo нaкoпитeля в систeмe (нoутбукe, мoнoблoкe или ПК) никaк нe учитывaeтся. Всe прилoжeния, испoльзуeмыe для тeстирoвaния, устaнaвливaются нa систeмный нaкoпитeль, и даже те тесты, результаты которых зависят от производительности подсистемы хранения данных, выполняются только на системном накопителе. Это понятно и оправданно: методика тестирования универсальная, а второго накопителя в системе может и не быть. Кроме того, смысл измерения производительности состоит в выявлении максимального уровня, достижимого системой, а различные способы затормозить тестируемый компьютер, к числу которых относится, конечно, и установка ОС и приложений на винчестер, особенно ноутбучный, мы не рассматриваем.

Тем не менее, если уж тестируется система с двумя накопителями, то хорошо было бы учесть наличие второго накопителя и протестировать его производительность. Именно для таких случаев мы разработали отдельный тестовый бенчмарк iXBT Storage Benchmark 2016, однако сфера его применимости шире: он может использоваться и для тестирования USB-флэшек и отдельных SSD/HDD. Особенность данного бенчмарка заключается в том, что в нем используются только реальные приложения, а не синтетические тесты.

Задачи, используемые для тестирования

Сразу оговоримся, что для создания серьезной нагрузки на накопитель мы экспериментировали с различными приложениями. В частности, были опробованы Adobe Photoshop CC 2015.0.1, Adobe Photoshop Lightroom 6.1.1 и PhaseOne Capture One Pro 8.2, однако результаты тестов в этих приложениях почти не зависят от производительности накопителя. Точнее говоря, в этих приложениях производительности даже медленных HDD вполне достаточно, и использование быстрых SSD в данном случае не позволяет получить заметного выигрыша. В итоге для полноценной загрузки подсистемы хранения данных мы решили использовать следующие задачи:

  • архивирование и разархивирование данных
  • копирование данных
  • инсталляция приложений
Архивирование и разархивирование данных

Архивирование и разархивирование производятся с использованием приложения WinRAR 5.21. Аналогичный (во всяком случае, по названию) тест есть и в нашем бенчмарке iXBT Application Benchmark 2016, однако между этими тестами в бенчмарках iXBT Application Benchmark 2016 и iXBT Storage Benchmark 2016 есть одно очень важное различие. В бенчмарке iXBT Application Benchmark 2016 в тесте архивации данных для сжатия используется формат RAR и метод компрессии Best (максимальное сжатие), что обеспечивает сильную загрузку процессора, а от производительности накопителя результаты теста зависят слабо. Для того чтобы скорость архивации не «упиралась» в производительность процессора, в бенчмарке iXBT Storage Benchmark 2016 мы вообще не используем сжатие. По сути, архиватор производит лишь упаковку большого количества отдельных файлов в один большой файл, процессор при этом загружен слабо, а результат очень сильно зависит от производительности накопителя. Аналогично, при разархивации используется распаковка данных из архива без сжатия (для этого используется архив, полученный в тесте архивирования данного бенчмарка).

Поскольку предполагается, что в системе (ноутбуке, моноблоке и ПК) может быть два накопителя (системный и тестируемый), то возможны четыре варианта теста с упаковкой данных в архив в зависимости от того, на каком накопителе расположены исходные данные и на каком накопителе создается архив:

  • данные на системном накопителе, архив создается на системном накопителе
  • данные на системном накопителе, архив создается на тестируемом накопителе
  • данные на тестируемом накопителе, архив создается на тестируемом накопителе
  • данные на тестируемом накопителе, архив создается на системном накопителе

В рассмотренных задачах тестируется не только второй накопитель, но и системный, однако эти результаты лишними не будут и, кроме того, позволят непосредственно сопоставить производительность системного накопителя (как правило, SSD) и второго накопителя (как правило, HDD).

Совершенно аналогично, при распаковке архива может быть четыре варианта:

  • архив на системном накопителе, распаковка производится на системный накопитель
  • архив на системном накопителе, распаковка производится на тестируемый накопитель
  • архив на тестируемом накопителе, распаковка производится на тестируемый накопитель
  • архив на тестируемом накопителе, распаковка производится на системный накопитель

Таким образом, при наличии двух накопителей в системе можно сформировать восемь тестовых задач с приложением WinRAR 5.21.

Если же в системе имеется только один накопитель (системный) и ставится задача более детально протестировать производительность этого накопителя, то из рассмотренных восьми тестов оставляем лишь два:

  • данные на системном накопителе, архив создается на системном накопителе
  • архив на системном накопителе, распаковка производится на системный накопитель

Естественно, результаты тестов сильно зависят от того, каков набор и объем данных, используемых в тестировании. В принципе, этот набор в нашем бенчмарке может быть различным.

Если речь идет о тестировании USB-флэшек, которые, во-первых, медленные, а во-вторых, имеют сильно ограниченную емкость, то объем данных, используемых для создания архивов, должен быть как минимум вдвое меньше размера флэшки. Однако пока что вопросы, связанные с тестированием USB-флэшек, мы оставим в стороне и сосредоточимся на тестировании HDD/SSD. Для емких и быстрых накопителей размер данных, используемых для тестирования, подбирается таким образом, чтобы сам тест длился на быстром SSD хотя бы минуту. Мы используем для тестирования директорию с разнообразными данными суммарным размером 20 ГБ (берется директория с установленной игрой World of Tanks).

Следующий важный момент: что именно измеряется в ходе тестирования с помощью приложения WinRAR 5.21. В бенчмарке iXBT Application Benchmark 2016 во всех тестах измеряется время выполнения тестовой задачи, которое сопоставляется со временем выполнения этой задачи на референсной системе. Для бенчмарка iXBT Storage Benchmark 2016 мы не используем референсную систему, а само по себе время выполнения тестовой задачи не показательно. Поэтому в задачах по архивированию и разархивированию данных измеряемой величиной является скорость упаковки или распаковки в мегабайтах в секунду (МБ/c).

Копирование данных

Поскольку речь идет о тестировании подсистемы хранения данных, то вполне логично было бы использовать тест на определение скорости копирования данных. Аналогичный тест, но только для системного накопителя, используется и в бенчмарке iXBT Application Benchmark 2016. Разница лишь в том, что в данном случае определяется скорость копирования данных не только в пределах системного накопителя, но также в пределах второго накопителя (тестируемого) и скорость копирования между системным и вторым накопителями. То есть всего используется четыре отдельных теста с копированием данных:

  • копирование с системного накопителя на системный
  • копирование с системного накопителя на тестируемый
  • копирование с тестируемого накопителя на тестируемый
  • копирование с тестируемого накопителя на системный

Кроме того, в тесте iXBT Storage Benchmark 2016 используется немного иной набор данных для копирования — здесь берется та же директория с установленной игрой World of Tanks, что и в тесте архивации, так что суммарный объем копируемых данных составляет 20 ГБ (повторим, что для тестирования флэшек используется иной набор данных). Как и в тесте с упаковкой и распаковкой данных, измеряемой величиной в данном случае является скорость копирования в мегабайтах в секунду (МБ/c).

Скорость инсталляции приложений

Еще один прикладной тест, который мы используем в бенчмарке iXBT Storage Benchmark 2016 — измерение скорости инсталляции приложений. Как и в бенчмарке iXBT Application Benchmark 2016, для инсталляции используется игра Metro 2033 Reduxe, дистрибутив которой занимает 5 ГБ.

При инсталляции игры возможны следующие варианты:

  • установка с системного накопителя на системный
  • установка с тестируемого накопителя на системный
  • установка с тестируемого накопителя на тестируемый
  • установка с системного накопителя на тестируемый

Первый вариант наиболее распространенный: дистрибутив игры скачивается на диск C:, и затем игра устанавливается на этот же диск. В системе с одним накопителем это единственно возможный вариант, и именно он у нас используется в бенчмарке iXBT Application Benchmark 2016. В бенчмарке iXBT Storage Benchmark 2016 мы оставляем его для полноты картины (на тот случай, если этот бенчмарк используется отдельно, то есть без бенчмарка iXBT Application Benchmark 2016).

Второй вариант также очень распространенный — в случае систем с двумя накопителями. Дистрибутив игры хранится на втором накопителе, а в случае необходимости с этого накопителя производится установка игры на системный накопитель.

Третий вариант (установка с тестируемого накопителя на тестируемый) тоже вполне вероятен в случае маленького SSD. Если на системном накопителе недостаточно места ни для установки игры, ни для хранения ее дистрибутива, то дистрибутив игры хранится на емком втором накопителе, и устанавливается игра тоже на второй накопитель.

А вот последний вариант (установка с системного накопителя на тестируемый) выглядит совершенно экзотическим (жертвовать скоростью ежедневного запуска игры при имеющейся возможности установить ее на системный SSD, раз уж там достаточно места для хранения ее дистрибутива, просто глупо) и применим, пожалуй, лишь в случае, когда системный и второй накопитель отличаются несильно (например, это два винчестера). В любом случае мы оставили этот вариант в бенчмарке хотя бы просто из академических соображений.

Понятно, что в зависимости от конкретной ситуации можно выбирать конкретные варианты инсталляции при тестировании. К примеру, когда тестируемым накопителем является флэшка, вариант инсталляции игры или другого приложения на флэшку является абсурдным.

Напомним, что в бенчмарке iXBT Application Benchmark 2016 в тесте инсталляции измеряется время установки, что вполне естественно. Логично было бы и в бенчмарке iXBT Storage Benchmark 2016 измерять именно время установки. Тем не менее, поскольку под установкой конкретного приложения понимается в основном распаковка данных в определенную директорию (или несколько директорий), можно измерять скорость установки и в мегабайтах в секунду (МБ/c), то есть рассчитывать скорость как отношение размера установленного приложения ко времени установки.

Отметим, что установочный файл игры Metro 2033 Reduxe (как и многих других игр и приложений) представляет собой архив данных со сжатием. При распаковке такого архива нагрузка ложится и на процессор, и если процессор является узким местом в системе, то от производительности накопителя результат этого теста будет зависеть слабо.

Скорее всего, для типичных систем с двумя накопителями (SSD и HDD) результат этого теста не будет зависеть от того, откуда и куда инсталлируется игра. Но если вторым накопителем является USB-флэшка, то здесь уже все будет зависеть от скорости самой флэшки.

Пример тестирования

Итак, всего в нашем бенчмарке iXBT Storage Benchmark 2016 предусмотрено 16 тестов, но еще раз подчеркнем, что бенчмарк модульный и в зависимости от конкретной ситуации можно выбирать для прогона отдельные тесты.

Далее мы продемонстрируем в качестве конкретного примера тестирование в iXBT Storage Benchmark 2016 ноутбука Alienware 17 R2 с двумя накопителями. Краткая спецификация этого ноутбука представлена в таблице:

Alienware 17 R2 Процессор Intel Core i7–4720HQ Чипсет Intel HM87 Оперативная память 16 ГБ DDR3–1600 Видеоподсистема Nvidia GeForce GTX 980M (4 ГБ GDDR5) Экран 17,3 дюйма (1920×1080) Накопитель 1 × SSD Lite-On LGT-512L9G-11 (512 ГБ, M.2, SATA600)
1 × HDD HGST HTS721010A9E630 (1 ТБ, SATA600) Операционная система Windows 10 (64-битная)

Как видно по спецификации, в ноутбуке Alienware 17 R2 как раз два накопителя: SSD и HDD. SSD используется в качестве системного, а HDD — для хранения данных. Результат тестирования этого ноутбука в бенчмарке iXBT Storage Benchmark 2016 представлен далее:

Тест Результат, МБ/с Скорость упаковки и распаковки данных Архивирование с системного накопителя на системный 380±2 Распаковка с системного накопителя на системный 383,3±1,6 Архивирование со второго накопителя на системный 120,32±0,17 Распаковка со второго накопителя на системный 122,3±0,6]]>

0 комментариев
0

You may also like