<div class="gmail_quote">On Wed, Nov 16, 2011 at 11:53 AM, David Chisnall <span dir="ltr"><<a href="mailto:csdavec@swan.ac.uk">csdavec@swan.ac.uk</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div class="im">On 16 Nov 2011, at 19:45, Matthieu Monrocq wrote:<br>
<br>
> Many thanks David, it had been a while (6 months I guess) since the last benchmark I saw and I was wondering how the new Clang/LLVM compared to GCC!<br>
><br>
> One comment though, the graphs are great, however the alternance of "less is better"/"more is better" makes for a difficult read: it's not obvious at a glance which is performing better and it's difficult to get a quick overview surveying the few graphs available.<br>

<br>
</div>To clarify - I didn't create these benchmarks and am not affiliated in any way with the site that did, someone sent me the link and asked me if I knew what accounted for the differences between the three compilers tested.<br>

<br>
After looking at them, I see that there are some improvements and some regressions between 2.9 and 3.0.  I am interested in us setting up something that ensures that 3.1 contains only improvements and not regressions.<br>

<br>
Running benchmarks like these on (at least some of) the buildbots and sending mails to people for any commit that resulted in a slowdown would be a good start.  I believe most other compilers do something along these lines...</blockquote>
<div><br></div><div>I completely agree, and I think Evan has described the right approach. Look at the way these benchmarks run, and port them to the LLVM test suite. There are bots that run nightly and dashboards that track regressions.</div>
<div><br></div><div>However, I can only spot two regressions:</div><div><br></div><div>FLAC encoding regresses by maybe 2% -- is that actually within the noise?</div><div><br></div><div>John The Ripper: Blowfish regresses by over 5%; that one actually looks interesting.</div>
<div><br></div><div>The rest seem to have improved, or to have some error in running...</div></div>