<div dir="ltr">On 30 June 2013 20:08, Anton Korobeynikov <span dir="ltr"><<a href="mailto:anton@korobeynikov.info" target="_blank">anton@korobeynikov.info</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote">
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div class="im">> Getting 10 samples at different commits will give you similar accuracy if<br>

> behaviour doesn't change, and you can rely on 10-point blocks before and > after each change to have the same result.<br>
</div>Right. But this way you will have 10-commits delay. So, you will need<br>
3-4 additional test runs to pinpoint the offending commit in the worst<br>
case.<br></blockquote><div><br></div><div>Well, 10 was an example, but yes, you'll always have N commit-groups delay. My assumption is that some (say 5) commit-groups delay is not a critical issue if it happens once in a while, as opposed to having to examine every hike on a range of several dozen commits.</div>
<div><br></div><div><br></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div class="im">> This is why I proposed something like moving averages.<br>
</div>Moving average will "smooth" the result. So, only really big changes<br>
will be caught by it.<br></blockquote><div></div></div><br></div><div class="gmail_extra">Absolutely. Smoothing is bad, but it's better than what we have, and at least it would catch big regressions. Today, not even the big ones are being caught.</div>
<div class="gmail_extra"><br></div><div class="gmail_extra">You don't have to throw away the original data-points, you just run a moving average to pinpoint big changes, where the confidence that regression occurred is high. In parallel, you can still use the same data-points to do more refined analysis, and even cross-reference multiple analysis' data to give you even more confidence.</div>
<div class="gmail_extra"><br></div><div class="gmail_extra">Anton and David, I could not agree with you more on what's necessary to have a good analysis, I just wished we had something cruder but sooner while we develop the perfect statistical model. I believe Chris is doing that now. So, whatever is wrong with his analysis, let's just wait and see how it turns out, and how we can improve further. For now, anything will be an improvement.</div>
<div class="gmail_extra"><br></div><div class="gmail_extra">cheers,</div><div class="gmail_extra">--renato</div></div>