<div dir="ltr">On 28 February 2013 11:20, David Tweed <span dir="ltr"><<a href="mailto:david.tweed@arm.com" target="_blank">david.tweed@arm.com</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote">
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Renato, sounds like a useful project to have. However, since unlike<br>
correctness regressions there's less time pressure, there are other<br>
statistical measures with greater resolving power you could use if you don't<br>
need to only consider the latest sample, eg, you can use change point<br>
detection tests between 5 samples and the next five samples. (Of course this<br>
will still only produce estimates of when there was a big perf change in one<br>
go, moving averages may be the way to deal with the "0.5% here, 0.5%, ...,<br>
soon it adds up to real slowdowns".<br></blockquote><div><br></div><div style>Hi David,</div><div style><br></div><div style>I agree that this is just the starting point. Once we have the infrastructure in place we can go to great lengths to spot regressions.</div>
<div style><br></div><div style>My main focus now is to get rid of the 3000% regression/improvement reports for sub-second benchmarks. Another approach would also be to make all sub-second benchmarks run for longer on the fastest machine, to say at least 10s, so that the noise would naturally become less important.</div>
<div style><br></div><div style>All ideas are welcome, feel free to add things to that project on the doc. :D</div><div style><br></div><div style>cheers,</div><div style>--renato</div></div></div></div>