<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Feb 17, 2015 at 4:23 PM, Hans Wennborg <span dir="ltr"><<a href="mailto:hans@chromium.org" target="_blank">hans@chromium.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Tue, Feb 17, 2015 at 11:47 AM, Jack Howarth<br>
<<a href="mailto:howarth.mailing.lists@gmail.com">howarth.mailing.lists@gmail.com</a>> wrote:<br>
>     We probably ought to open a meta-bug for all of these new<br>
> performance regressions introduced in 3.6.<br>
<br>
Feel free to open one. The important thing is whether anyone is<br>
investigating the bugs, though.<br>
<br>
> The 20% performance<br>
> regression observed in the "8 queens puzzle" solver example<br>
> (<a href="http://llvm.org/bugs/show_bug.cgi?id=22058" target="_blank">http://llvm.org/bugs/show_bug.cgi?id=22058</a>) doesn't seem to be<br>
> introduced by either the r217953 or r222451 commits. I'll try to do a<br>
> regression hunt later this week to pin down the offending commit for<br>
> that regression. Likewise, the reported regression in the -m32<br>
> performance of the sudoku solver example (reported in<br>
> <a href="http://llvm.org/bugs/show_bug.cgi?id=22589" target="_blank">http://llvm.org/bugs/show_bug.cgi?id=22589</a>) doesn't match up to those<br>
> two commits either (but I suspect a register pressure issue since it<br>
> only shows up at 32-bit).<br>
>      Jack<br>
> ps Do we have a complete set of benchmark results for current 3.6svn<br>
> vs 3.5.1 posted anywhere?<br>
<br>
Not that I know. There are test results going into the LNT tool at<br>
<a href="http://llvm.org/perf" target="_blank">http://llvm.org/perf</a>, but I'm not really familiar with that and also<br>
don't think it makes it easy to do comparisons between releases.<br>
<br>
 - Hans<br></blockquote></div><br><br><br>Comparison of Clang Test Results : <br><br><br><br>Assume Clang compiled some programs , the following data is obtained :<br><br><br></div><div class="gmail_extra">Assume  compilation_time for the Program i is obtained on the SAME computer with similar execution environments .<br><br></div><div class="gmail_extra">Computers for Program i and Program j may be different . <br></div><div class="gmail_extra"><br><br><br><br>                 Release 3.5.0         Release 3.6.0<br>                 ----------------      ---------------<br>Program 1       compilation_time      compilation_time<br> <br> .<br> .<br> .<br><br>Program n       compilation_time      compilation_time<br><br><br>Means            Mean_of_Release_3.5.0    Mean_of_Release_3.6.0<br><br><br>You may apply the following tests :<br><br><br><a href="http://en.wikipedia.org/wiki/Levene%27s_test">http://en.wikipedia.org/wiki/Levene%27s_test</a><br>( If W is significant : Variability of compilation speeds are different between releases )<br><br><a href="http://en.wikipedia.org/wiki/Paired_difference_test">http://en.wikipedia.org/wiki/Paired_difference_test</a><br>( If D is significant : Average compilation time increased ( or decreased ) <br><br><br>A similar analysis may be performed on "execution times" of programs :<br><br><br>                 Release 3.5.0         Release 3.6.0<br>                 ----------------      ---------------<br>Program 1       execution_time      execution_time<br> <br> .<br> .<br> .<br><br>Program n       execution_time      execution_time<br><br><br>Means            Mean_of_Release_3.5.0    Mean_of_Release_3.6.0<br><br><br>If you use more than 15 programs , test results will be "good" .<br>If you use more than 60 programs , test results will be "better" .<br><br><br></div><div class="gmail_extra">The tests will give at least a rough idea about performance changes .<br><br><br></div><div class="gmail_extra">Thank you very much .<br></div><div class="gmail_extra"><br></div><div class="gmail_extra">Mehmet Erol Sanliturk<br><br><br></div><div class="gmail_extra"><br><br><br><br></div></div>