<div dir="ltr">On 28 February 2013 16:29, David Blaikie <span dir="ltr"><<a href="mailto:dblaikie@gmail.com" target="_blank">dblaikie@gmail.com</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote">
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5"><span style="color:rgb(34,34,34)">If I were doing this that's probably where I would want to head.</span><br>
</div></div>
Essentially gut the existing test suite running infrastructure (this<br>
needs to be done sooner or later anyway because the whole thing is<br>
terribly crufty) & make it smart enough to choose the number of<br>
executions dynamically to get compensate for the noise to some level<br>
of confidence (& presumably have some cutoff threshold where the test<br>
would be considered just too noisy to be worthwhile).<br></blockquote><div><br></div><div style>While the current system has many problems, it has the minimum set of features I'd expect from continuous integration + benchmarks. I can do the analysis off-line for now, that's not a big problem. (though, having a json interface would be great).</div>
<div style><br></div><div style>Re-writing the whole system would create other inefficiencies, since we'd be focused on the things that the current system fails, but essentially, we'll have the same time we had before, so the things that the current system does well will be missing. I have seen many test infrastructures been re-written and not a single time the version 2.0 completely replaced 1.0.</div>
<div style><br></div><div style>Also, dynamic benchmarks are not good for regression analysis, as they can potentially change number of cycles between runs (OS being busy and all that).</div><div style><br></div><div style>
So, all in all, the current system is not so bad, and if it could be extensible with a json interface (is it?) like the buildbot, we could do much more with it as it is.</div><div style><br></div><div style>But yes, increasing (statically) the run-time for most applications would be an easy and good move.</div>
<div style><br></div><div style>cheers,</div><div style>--renato</div><div style><br></div><div style><br></div></div></div></div>