<div dir="auto"><div><br><div class="gmail_extra"><br><div class="gmail_quote">On Dec 17, 2016 7:41 PM, "Sean Silva" <<a href="mailto:chisophugis@gmail.com">chisophugis@gmail.com</a>> wrote:<br type="attribution"><blockquote class="quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><div class="quoted-text">On Sat, Dec 17, 2016 at 6:32 PM, Davide Italiano via llvm-dev <span dir="ltr"><<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On Sat, Dec 17, 2016 at 1:35 PM, Davide Italiano <<a href="mailto:davide@freebsd.org" target="_blank">davide@freebsd.org</a>> wrote:<br>
[...]<br>
<span><br>
> I don't have an infrastructure to measure the runtime performance<br>
> benefits/regression of clang, but I have for `game7`.<br>
> I wasn't able to notice any fundamental speedup (at least, not<br>
> something that justifies a 2x build-time).<br>
><br>
<br>
</span>Just to provide numbers (using Sean's Mathematica template, thanks),<br>
here's a plot of the CDF of the frames in a particular level/scene.<br>
The curves pretty much match, and the picture in the middle shows a<br>
relative difference of 0.4% between Jun and Dec (which could be very<br>
possibly be in the noise).<br></blockquote><div><br></div></div><div>With 5-10 runs per binary you should be able to reliably measure down to 0.5% difference on game7 (50 usec difference per frame). With just one run per binary like you have here I would not trust a 0.4% difference.</div><font color="#888888"><div></div></font></div></div></div></blockquote></div></div></div><div dir="auto"><br></div><div dir="auto">Yeah, I agree. This was mostly a sanity check to understand if there was a significant improvement at runtime. I ran the same test 7 times in the last our but the difference is always in the noise, FWIW.</div><div dir="auto"><div class="gmail_extra"><div class="gmail_quote"><blockquote class="quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><font color="#888888"><div><br></div><div>-- Sean Silva</div><div> <br></div></font><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="quoted-text">
On the same scene, the difference between -O3 and -flto is 12%, FWIW.<br>
So it seems that at least for this particular case all the compile<br>
time didn't buy any runtime improvement.<br>
<div class="m_-4222581488118999647HOEnZb"><div class="m_-4222581488118999647h5"><br>
--<br>
Davide<br>
<br>
"There are no solved problems; there are only problems that are more<br>
or less solved" -- Henri Poincare<br>
</div></div><br></div><div class="quoted-text">______________________________<wbr>_________________<br>
LLVM Developers mailing list<br>
<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a><br>
<a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/<wbr>mailman/listinfo/llvm-dev</a><br>
<br></div></blockquote></div><br></div></div>
</blockquote></div><br></div></div></div>