<div dir="ltr">On 13 November 2013 13:14, Kristof Beyls <span dir="ltr"><<a href="mailto:kristof.beyls@arm.com" target="_blank">kristof.beyls@arm.com</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote">

<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div lang="EN-GB" link="blue" vlink="purple"><p class="MsoNormal">
    b) evaluate if the main running time of the benchmark is caused by running<br>
</p><p class="MsoNormal"><u></u></p><p class="MsoNormal">       code compiled or by something else, e.g. file IO. Programs dominated by<u></u><u></u></p><p class="MsoNormal">       file IO shouldn't be used to track performance changes over time.<u></u><u></u></p>

<p class="MsoNormal">       The proposal to resolve this is to create a way to run the test suite in<u></u><u></u></p><p class="MsoNormal">       'benchmark mode', which includes only a subset of the test suite useful<u></u><u></u></p>

<p class="MsoNormal">       for benchmarking.  Hal Finkel volunteered to start this work.</p></div></blockquote><div><br></div><div></div></div><br></div><div class="gmail_extra">Thanks to Hal for being such a corageous man! ;)</div>
<div class="gmail_extra"><br></div><div class="gmail_extra">We should involve Daniel Dumbar, Chris Matthews and Michael Grottesman on the design and planning of such a suite. Chris is working on getting better results from the current suite, and his input would be invaluable on such a task.</div>
<div class="gmail_extra"><br></div><div class="gmail_extra"><div class="gmail_extra">As soon as we have a "benchmark mode" for the test-suite, I will setup a new ARM buildbot to run those and stop sending reports from the old test-suite bot, and leave it running for validation purposes only.</div>
</div><div class="gmail_extra"><br></div><div class="gmail_extra">cheers,</div><div class="gmail_extra">--renato</div></div>