<p dir="ltr">On 2 August 2014 00:40, Renato Golin <<a href="mailto:renato.golin@linaro.org">renato.golin@linaro.org</a>> wrote:<br>
> If memory serves me well (it doesn't), these are the list of things we<br>
> agreed on making, and their progress:<br>
><br>
> 1. Performance-specific test-suite: a group of specific benchmarks<br>
> that should be tracked with the LNT infrastructure. Hal proposed to<br>
> look at this, but other people helped implement it. Last I heard there<br>
> was some way of running it but I'm not sure how to do it. I'd love to<br>
> have this as a buildbot, though, so we can track its progress.</p>
<p dir="ltr">We have this in LNT now which can be activated using `--benchmarking-only`. It's about 50% faster than a full run and massively reduces the number of false positives.</p>
<p dir="ltr">Chris has also posted a patch to rerun tests which the server said changed. Haven't tried it yet but it looks really promising.</p>
<p dir="ltr">> 2. Statistical analysis of the LNT data. A lot of work has been put<br>
> into this and I believe it's a lot better. Anton, Yi and others have<br>
> been discussing and submitting many patches to make the LNT reporting<br>
> infrastructure more stable, less prone to noise and more useful all<br>
> round. It's not perfect yet, but a lot better than last year's.</p>
<p dir="ltr">There's definitely lots of room for improvement. I'm going to propose some more once we've solved the LNT stability issues.</p>
<p dir="ltr">> 3. LNT website got really unstable (Internal Server Error every other<br>
> day). This is the reason I stopped submitting results to it, since it<br>
> would make my bot fail. And because I still don't have a performance<br>
> test-suite bot, I don't really care much for the results. But with the<br>
> noise reduction, it'd be really interesting to monitor the progress,<br>
> even of the full test-suite, but right now, I can't afford to have<br>
> random failures. This seriously needs looking into and would be good<br>
> to have that as a topic in this BoF.</p>
<p dir="ltr">We are now testing PostgreSQL as database backend on the public perf server, replacing the SQLite db. Hopefully this can improve the stability and system performance.</p>
<p dir="ltr">Also being discussing is to move the LNT server to a PaaS service, as it has higher availability and saves a lot of maintenance work. However this will need community to provide or fund the hosting service.</p>

<p dir="ltr">-Yi</p>