<div dir="ltr">Hello George,<div><br></div><div>The bot does 10 runs for each of the benchmarks (those dots in the logs are meaningful). It seems the statistics quite stable if you would look over number of revisions.</div><div><br></div><div>For example, if one would take a look at the linux-kernel branches - <a href="http://lnt.llvm.org/db_default/v4/link/graph?plot.0=1.12.2&highlight_run=104" target="_blank">http://lnt.llvm.org/db_<wbr>default/v4/link/graph?plot.0=<wbr>1.12.2&highlight_run=104</a>, it gets obvious that the number of branches increased significantly as a result of the r325313. The metric is very stable around the impacted commit.</div><div><br></div><div>As the number of branches has increased, the related metrics regress as well, like branch-misses </div><div><br></div><div>> </div><div>> </div><div><br></div><div>I'm sure you have checked that, but, just in case, here is the link to the LNT doc.</div><div><br></div><div>Besides reporting to the <a href="http://lnt.llvm.org" target="_blank">lnt.llvm.org</a>, each build contains in the log all the reported data, so you could process it whatever you want and find helpful.</div><div><br></div><div>Thanks</div><div><br></div><div>Galina</div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Feb 16, 2018 at 1:55 AM, George Rimar via llvm-dev <span dir="ltr"><<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">>Hello everyone,<br>
><br>
>I have added a new public LLD performance builder at<br>
><a href="http://lab.llvm.org:8011/builders/lld-perf-testsuite" rel="noreferrer" target="_blank">http://lab.llvm.org:8011/<wbr>builders/lld-perf-testsuite</a>.<br>
>It builds LLVM and LLD by the latest releaed Clang and runs a set of<br>
>perfromance tests.<br>
><br>
>The builder is reliable. Please pay attention on the failures.<br>
><br>
>The performance statistics are here:<br>
><a href="http://lnt.llvm.org/db_default/v4/link/recent_activity" rel="noreferrer" target="_blank">http://lnt.llvm.org/db_<wbr>default/v4/link/recent_<wbr>activity</a><br>
><br>
>Thanks<br>
><br>
>Galina<br>
<br>
</div></div>Great news, thanks !<br>
<br>
Looking on results I am not sure how to explain them though.<br>
<br>
For example r325313 fixes "use after free", it should not give any performance<br>
slowdowns or boosts. Though if I read results right, they show 23.65% slowdown<br>
for time of linking linux kernel (<a href="http://lnt.llvm.org/db_default/v4/link/104" rel="noreferrer" target="_blank">http://lnt.llvm.org/db_<wbr>default/v4/link/104</a>).<br>
<br>
I guess such variation can happen for example if bot do only single link iteration for tests,<br>
so that final time is just a error mostly probably.<br>
<br>
task-clock results are available for "linux-kernel" and "llvm-as-fsds" only and all other<br>
tests has blank field. Should it mean there was no noticable difference in results ?<br>
<br>
Also, "Graph" and "Matrix" buttons whatever they should do show errors atm.<br>
("Nothing to graph." and "Not Found: Request requires some data arguments.").<br>
<br>
Best regards,<br>
George | Developer | Access Softek, Inc<br>
______________________________<wbr>_________________<br>
LLVM Developers mailing list<br>
<a href="mailto:llvm-dev@lists.llvm.org">llvm-dev@lists.llvm.org</a><br>
<a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/<wbr>mailman/listinfo/llvm-dev</a><br>
</blockquote></div><br></div>