<div dir="ltr">On 19 April 2013 17:48, Török Edwin <span dir="ltr"><<a href="mailto:edwin@etorok.net" target="_blank">edwin@etorok.net</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="im"><span style="color:rgb(34,34,34)">Otherwise what might seem like a 20% improvement</span><br></div>
could very well be just a 0.2% improvement in practice.<br></blockquote><div></div></div><br></div><div class="gmail_extra" style>This is (maybe to a lesser extent) what happens with most of our benchmarks, and running them 3 times doesn't add that much confidence but makes it run much slower. I end up treating the test-suite as functionality and correctness test, rather than useful benchmark data.</div>
<div class="gmail_extra" style><br></div><div class="gmail_extra" style>I agree it would be great to have a decent benchmark infrastructure for LLVM, but I'm not sure the test-suite is the appropriate place. Maybe a different type of run that crank the inputs up to 11 and let the applications run for longer, to be run once a week or so wouldn't be a bad idea, though.</div>
<div class="gmail_extra" style><br></div><div class="gmail_extra" style>cheers,</div><div class="gmail_extra" style>--renato</div></div>