<div dir="ltr">On 1 March 2013 11:47, David Tweed <span dir="ltr"><<a href="mailto:david.tweed@arm.com" target="_blank">david.tweed@arm.com</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
The trick, of course, is knowing when it's reasonable to discard a big value</blockquote><div><br></div><div style>Hi Dave,</div><div style><br></div><div style>It depends on the data distribution. I don't think there is a definite rule that will apply to all cases.</div>
<div style><br></div><div style>What I've done in the past was to get mean+stdev, discard anything after N stdev (eg. 4, then 3 if none) and re-calculate mean+stdev.</div><div style><br></div><div style>Fix percentage has little meaning if you don't know the distribution. You could be discarding good values, which means you'll have to re-run the test more times than needed just to get a good stdev. </div>
<div style><br></div><div style>And calculating ave+stdev twice is normally quicker than re-running a test, so you can do it after every test until your stdev is at an acceptable fraction of your mean (or you've hit the maximum number of runs).</div>
<div style><br></div><div style>cheers,</div><div style>--renato</div></div></div></div>