Benchmarky: co to je? K čemu to je historie, typy a tipy

Benchmarky jsou základní součástí naší každodenní analýzy hardwaru, umožňují nám vám nabídnout vědecky srovnatelné měření mezi různými součástmi, jako jsou CPU, grafické karty, paměťové jednotky atd. Dnes se chystáme věnovat některé linie jeho historii, jejím typům, jak fungují, co měří, jaká jsou nejběžnější opatření, a také vám poskytneme několik tipů, jak je provádět a kterým bychom měli věřit.

Co dnes v PC nebo mobilním světě známe jako měřítka, jsou techniky zděděné z průmyslového prostředí, které od začátku této revoluce umožnilo rozhodování založené na srovnatelných datech v kontrolovaném prostředí.

Svět moderních počítačů používá tyto techniky téměř ve všech svých mnoha různých doménách a domácí uživatelé je také přijali jako spolehlivý způsob, jak se dozvědět o výkonu a schopnostech našich systémů, jakož i důležitý informační bod, když dělat důležitá rozhodnutí, jako je nákup našeho nového počítače, mobilního telefonu, grafické karty atd.

Dnes budeme hovořit o historii PC benchmarků, typech benchmarků, které existují a jaké komponenty našeho systému jsou vhodnější pro tento typ testů, které jsou nejen výkonem.

Index obsahu

Historie

Systém benchmarků nebo měření používá kontrolované prostředí a rozpoznatelná opatření, která jsou vědecky srovnatelná a ověřitelná a koexistují se světem počítače od té doby, co existuje. Kritérium jako takové bylo demokratizováno do té míry, že část jeho základní podstaty byla ztracena, což znamená, že může být kontrolovatelné a ověřitelné třetími stranami. Nyní ji využíváme spíše jako rychlé srovnání výkonu, ale sledovatelnost její pravdivosti třetími stranami byla zcela jistě ztracena.

Nejklasičtější srovnávací metody vždy odkazovaly na výpočetní kapacitu CPU systému, i když v poslední době se mezi různými součástmi lišily, protože tyto získaly převahu a význam v počítači.

Dvě nejtradičnější měrné jednotky, které se stále používají, jsou Dhrystones a Whetstones. Oba se určitým způsobem stali základem všech syntetických měřítek, které dnes známe.

Nejstarší je Whetstones (lokalita ve Velké Británii, kde byla umístěna divize atomové energie státní energetické společnosti Spojeného království) a Dhrystone přišel později hrát se jménem první (mokré a suché).

První byl navržen v 70. letech a druhý z 80. let a oba jsou základem srovnávacího výkonu, který jsme měli v následujících letech. Zjednodušující whetstones nabídl nahlédnutí do výpočetního výkonu procesoru při operacích s pohyblivou řádovou čárkou, při operacích s velkým počtem desetinných míst.

Dhrystone je jeho protějškem, protože je věnován základním instrukcím bez desetinných míst, oba poskytli jasný obrázek o výkonu procesoru ze dvou zcela odlišných, ale vzájemně se doplňujících přístupů. Whetstones a Dhrystone odvozeny do dvou konceptů, které dnes používáme mnohem běžněji, MIPS a FLOP.

Po těchto měřeních přišly i další, jako je FLOP (aritmetika s plovoucí desetinnou čárkou - aritmetika s plovoucí desetinnou čárkou), která je nyní v počítači do značné míry důležitější než kdykoli předtím, protože je základem pokročilého výpočtu v mnoha moderních technikách. jako jsou algoritmy umělé inteligence, lékařské algoritmy, předpovědi počasí, fuzzy logika, šifrování atd.

LINPACK byl vyvinut inženýrem Jackem Dongarrou v 80. letech a nadále se dnes používá k měření výpočetní kapacity s pohyblivou řádovou čárkou u všech typů systémů. V současné době existují verze optimalizované architekturou, výrobcem CPU atd.

FLOPS vyplňují naše články o grafických kartách (jistě jsou známé jednoduché nebo dvojité přesnosti zvuků), procesory a jsou základem pro výpočet požadavků na energii a vývoj hardwaru pro jakýkoli superpočítač, který je v provozu nebo se vyvíjí.

FLOP je dnes nejžádanější jednotkou měření výkonu v průmyslu, ale vždy byla kombinována s MIPS (miliony instrukcí za sekundu), což je zajímavé měření, protože nám dává počet pokynů Základní aritmetika, kterou může procesor provádět za sekundu, ale to závisí více na architektuře procesoru (ARM, RISC, x86 atd.) A programovacím jazyce než na jiných měrných jednotkách.

Jak výkon vystoupil, multiplikátory se staly. Nyní měříme výkon domácích procesorů v GIPS a GFLOPS. Základna zůstává stejná, klasické aritmetické operace. Sisoft Sandra nám nadále nabízí tento typ měření v některých svých syntetických měřítcích.

MIPS byl také více zařazen do CPU jako klasický prvek a FLOP se rozšířil do dalších prosperujících oblastí, jako je kapacita procesu nebo obecný výpočet bývalých procesorů velmi orientovaných na specifické úkoly, jako jsou GPU, které všichni připojujeme k našim procesorům nebo na naše vyhrazené rozšiřující karty.

K těmto základním konceptům čas přidával nové jednotky měření stejně důležité nebo důležitější než ty v moderním počítači nebo superpočítači. Přenos dat je jedním z těchto opatření, které se stalo velmi důležitým a je v současnosti měřeno v IOP (operace vstupu a výstupu za sekundu) a také v jiných formách, jako jsou například opatření MB / GB / TB, ve srovnání s časem potřebným k tranzit z jednoho bodu do druhého (MB / s - megabajty za sekundu).

AS-SSD může měřit výkon pevného disku v MBps nebo IOP.

V současné době také používáme opatření přenosu, v jeho různých multiplikátorech, jako způsob interpretace rychlosti přenosu informací mezi dvěma body, kdy vyzařovat určité informace, musíme skutečně vygenerovat trochu více informací. Závisí to na protokolu použitém pro přenos informací.

Jasný příklad, který hodně používáme, je v rozhraní PCI Express. Podle tohoto protokolu musíme pro každých 8 bitů informací, které chceme přesunout (0 nebo 1 s), vygenerovat 10 bitů informací, protože tyto další informace slouží k řízení komunikace, která je zasílána k opravě chyb, integritě dat atd.

Další známé protokoly, které také zavádějí tuto „ztrátu“ skutečných informací, jsou IP, ta, kterou používáte ke čtení tohoto článku, a díky tomu vaše připojení 300MT / s skutečně nabízí o něco méně než rychlost 300 Mb / s.

Proto používáme Gigatransfer nebo přenos, když odkazujeme na nezpracované informace zaslané rozhraním, a nikoli na informace, které jsou skutečně zpracovány v přijímači. Datová sběrnice PCI Express 3.0 GG / s skutečně odesílá 6, 4 GBps informací pro každou linku spojenou mezi body. Přenos se stal velmi důležitým díky integraci protokolu PCI Express do všech hlavních autobusů domácího a profesionálního počítače.

V nedávné době jsme také začali kombinovat opatření jako způsob, jak spojit výpočetní výkon s dalšími velmi důležitými faktory v moderních počítačích, přičemž spotřeba je jedním z těchto opatření, které je zavedeno jako srovnávací měřítko mezi výkonem dvou systémů. Energetická účinnost je dnes stejně důležitá nebo důležitější než výkon procesu, a proto je snadno vidět měřítka, která porovnávají výkon procesu podle wattů spotřeby prvku při měření.

Ve skutečnosti jeden z velkých seznamů superpočítačů neodkazuje tolik na hrubý výkon počítače mezi všemi jeho výpočetními uzly, ale na vývoj této energie na základě wattů nebo energie spotřebované celým systémem. Seznam Green500 (FLOPS na watt - FLOPS na watt) je jasným příkladem toho, jak je spotřeba nyní základem jakéhokoli sebepoznávacího benchmarku, i když bezpochyby se všichni stále podrobně zabýváme seznamem TOP500, který tento faktor nemá jako kondicionační faktor.

Typy benchmarků

I když můžeme hovořit o mnoha dalších rodinách nebo typech benchmarků, seznam zjednoduším ve dvou nejběžnějších třídách těch, které jsou nám nejblíže jako více či méně pokročilí uživatelé.

Na jedné straně máme syntetická měřítka, která jsou převážně ta, která nám nabízejí opatření, o nichž jsme již mluvili. Syntetické standardy jsou programy, které provádějí kontrolované testy s více či méně stabilním programovým kódem orientovaným na konkrétní platformu a architekturu. Jsou to programy, které provádějí velmi specifické testy, které mohou integrovat jednu nebo více našich komponent, ale kde jsou stejné testy nebo testy vždy prováděny beze změn.

Vykreslování obrazu bylo vždy dobrým způsobem, jak poznat výkon CPU v moderním systému, protože je to náročná úloha. Cinebench R15 má také několik testů, jeden pro GPU a dva pro CPU, kde můžeme znát výkon systémů s více jádry a procesními vlákny.

Nabízejí kontrolované testovací prostředí, kde nejsou žádné změny kromě verzí a kde jsou tyto změny řádně zdokumentovány, takže uživatel ví, které verze lze vzájemně porovnat. Tyto typy programů mohou testovat různé podsystémy našeho počítače samostatně, s jinými částmi kódu nebo specifickými měřítky pro provedení určitého typu testu, nebo kombinované, které mohou být ovlivněny výkonem jedné, dvou nebo více systémových komponent. Benchmark integrovaný do hry nebo programy jako Cinebench, Sisoft Sandra, SuperPI, 3DMark,… jsou jasnými příklady syntetických benchmarků.

Dalšími syntetickými standardy, které bychom si neměli zaměňovat s reálnými benchmarky, jsou ty, které simulují provádění reálných programů nebo které provádějí akční skripty v reálných programech, jsou také syntetické, protože v testu není náhodnost, PC Mark je jasným příkladem syntetický benchmarkový program, který si můžeme zaměnit se skutečným benchmarkem.

Skutečná referenční hodnota je velmi odlišná zkušební metoda, protože přijímá náhodnost použití programu k měření jeho výkonu. Hráči jsou zvyklí provádět tento typ benchmarků nebo test výkonu, když přizpůsobujeme parametry kvality hry možnostem našeho hardwaru.

Měření výkonu hry při hraní je skutečným měřítkem.

Když otevřete FPS, který hra dává, a snažíte se dosáhnout požadovaných 60FPS nepřetržitě, pak provádějí skutečný benchmark. Totéž lze extrapolovat na jakýkoli jiný typ programu, a pokud jste vývojář, když optimalizujete kód vašeho programu, pak také děláte skutečné testovací testy, kde se mění váš kód nebo způsob jeho provedení na platformě stabilní nebo variabilní hardware.

Oba typy benchmarků jsou důležité, první z nich nám umožňují porovnat náš systém s ostatními v kontrolovaném prostředí a druhé jsou způsobem, jak optimalizovat náš provoz, kde jsou přidány také dva důležité faktory, náhodnost při provádění a lidský faktor. Oba faktory nabízejí další pohled na výkon komponenty nebo komponent, které chceme testovat.

Úvahy při srovnávání

Aby byla referenční hodnota užitečná a účinná, musíme vzít v úvahu určité faktory, které jsou skutečně důležité. Porovnání různých platforem a architektur představuje důležitý faktor nejistoty, a proto tento typ benchmarků, který vám dává možnost porovnávat mobilní telefony iOS s počítači se systémem Windows x86, je například třeba je vzít s pinzetou, protože se nejen mění jádro operačního systému, ale architektury procesorů jsou velmi odlišné. Vývojáři tohoto typu benchmarků (například Geekbench) zavádějí korekční faktory mezi svými různými verzemi, které jsou těžko kontrolovatelné.

Prvním klíčem pro srovnatelnost benchmarku mezi různými hardware je proto, že testovací ekosystém je co nejpodobnější srovnávací platformě, operačnímu systému, ovladačům a verzi softwaru. Určitě zde budou prvky, které nemůžeme ovládat homogenizací, jako grafický ovladač, pokud testujeme AMD grafiku proti grafice Nvidia, ale zbytek se musíme pokusit, aby byl co nejstabilnější. V tomto případě bychom také zahrnuli hardware, protože pro porovnávání grafických karet je vaším úkolem používat stejný operační systém, stejný procesor, stejné paměti a všechny operační parametry, udržovat je stejné, včetně parametrů kvality, rozlišení a testu v benchmarku. Čím stabilnější je náš testovací ekosystém, tím spolehlivější a srovnatelnější budou naše výsledky.

Doporučujeme si přečíst Jak zjistit, zda má můj procesor úzký profil?

Další věc, kterou musíme vzít v úvahu, je, že srovnávací testy mají obvykle stresový faktor na hardware, který budeme testovat, a normálně tento hardware podrobí situacím, které se normálně nevyskytují při normálním používání systému. Každý benchmark, který bereme z našeho pevného disku, grafické karty nebo procesoru, je podrobuje situacím, které mohou být pro hardware nebezpečné, takže musíme stanovit vhodná opatření, aby se bod napětí nestal zlomeninem ani prvek snížení výkonu, protože mnoho komponent má ochranné systémy, pomocí kterých snižují svůj výkon například v případě teplot mimo rozsah jejich použití. Přiměřené chlazení, doby odpočinku mezi testy, správné plnění testovaných složek… všechno by mělo být v ideální situaci, aby zkouška proběhla hladce.

Na druhé straně také používáme přesně tento typ benchmarků, abychom systém vystavili stresu, abychom viděli jeho stabilitu v tomto typu situace, jedná se o odlišný způsob použití benchmarku, protože se nejenom snaží znát výkon, ale také to, zda systém je stabilní a ještě více, pokud systém funguje v těchto stresových situacích tak, jak by měl.

Závěr

Pro ty z nás, kteří se zabývají profesionálním testováním počítačového hardwaru, je měřítko pracovním nástrojem a díky němu mají uživatelé vědecký a ověřitelný způsob, jak s přesností porovnat nebo znát výkon našeho dalšího počítače v každém ze svých subsystémů. srovnatelné s nástroji používanými na průmyslové úrovni.

Zkušební tabulka, stejně jako ta, která vidíte na obrázku, se snaží přesně standardizovat zkušební metodu, takže srovnávací benchmark je co nejspolehlivější a je testovatelný při zavádění variací, které modifikují výsledky.

Ale jako každá „laboratorní“ zkouška, aby byla spolehlivá, musí existovat správné podmínky, aby mohla být provedena, a ještě více tak, aby byla srovnatelná mezi různými systémy.

Dnes jsme vám něco řekli o historii tohoto typu programu, o jeho různých typech, o tom, jak fungují a jak od nich získat spolehlivé informace. Jsou užitečné, ale pro mě jsou to jen další informace, které bychom měli mít na paměti, a vždy bych je postavil za osobní zkušenosti a aktivní testování se skutečnými programy, které budeme používat každý den.

Referenční hodnoty jsou v pořádku, pokud chceme do našeho rozhodovacího procesu vložit údaje o minimálním výkonu, neměly by však definovat tato rozhodnutí a jako poslední tip se vyhýbat syntetickým benchmarkům, které tvrdí, že jsou schopny porovnat výkon mezi architekturami, operačními systémy atd.