<div dir="ltr"><br><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Mar 12, 2013 at 10:23 AM, Renato Golin <span dir="ltr"><<a href="mailto:renato.golin@linaro.org" target="_blank">renato.golin@linaro.org</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="im">On 12 March 2013 16:48, Daniel Dunbar <span dir="ltr"><<a href="mailto:daniel@zuster.org" target="_blank">daniel@zuster.org</a>></span> wrote:<br>
</div><div class="gmail_extra"><div class="gmail_quote"><div class="im"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

<div dir="ltr">The former mode is historically what the test suite did, the latter mode is substantially faster (and independent of bugs in the native CC).<br></div></blockquote><div><br></div></div><div>Yes, I agree this is better for many cases, but not for all. Implementing RNG that is good enough for the tests' purposes, fast enough not to steal the benchmarks' hot spots and does not use target/library-specific code is not trivial.</div>
</div></div></div></blockquote><div><br></div><div style>This is not true, all one needs to do is replace existing srand(), rand() with some specific platforms version (and those are usually very simple RNGs). If the code is already using srand()/rand() then there is no reason to assume somehow the benchmark is worse if it always used the FreeBSD one, say, as opposed to a platform specific one.</div>
<div style> </div><div style> - Daniel</div><div style><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">
<div> I think that, in this particular case, having bugs in GCC is far less problematic than assuming fixed outputs.</div>
<div><br></div><div>I've tried USE_REFERENCE_OUTPUT := 0 on the Makefile, but the test.log still prints it as 1 (and fails).</div><div><br></div><div>cheers,</div><div>--renato</div></div></div>
</div>
</blockquote></div><br></div></div>