<div dir="ltr">On 1 March 2013 14:31, David Tweed <span dir="ltr"><<a href="mailto:david.tweed@arm.com" target="_blank">david.tweed@arm.com</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div lang="EN-GB" link="blue" vlink="purple"><p class=""><span style="color:rgb(31,73,125);font-family:Calibri,sans-serif;font-size:11pt">(noise can make you slower, it can't make you faster)</span></p></div></blockquote>
<div><br></div><div style>I disagree.</div><div style><br></div><div style>Noise that makes you slower is context-switch, I/O stalls, device drivers, hypervisors. But there's also noise that makes you much faster, like accidentally well placed cache lines, OS cache for lookups, memory maps, etc.</div>
<div style><br></div><div style>What you're calling "program speed" is the fastest the program can go, assuming there is no OS, but when the OS interferes, you can go much faster (open a browser, close and open again) or much slower (as we all know).</div>
<div style><br></div><div style>Bare metal noise's standard deviation up (slow) is definitely higher than down (faster), but when OSs are in play, especially with out-of-order CPUs like the A9, I wouldn't jump to conclusions.</div>
<div style><br></div><div style><br></div><div style>> But to be honest I'm sure someone must have figured out the pros and cons of various stats for benchmarking<br></div><div style><br></div><div style>Benchmarking is art, not science. Each with its own school(s), ideas, beliefs. We could devote our entire lifetimes discussing this and we'd still be arguing. ;)</div>
<div style><br></div><div style><br></div><div style>cheers,</div><div style>--renato</div></div></div></div>