<div dir="ltr">On Tue, Mar 12, 2013 at 7:24 AM, Tim Northover <span dir="ltr"><<a href="mailto:t.p.northover@gmail.com" target="_blank">t.p.northover@gmail.com</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote">
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">> Is there any chance that the results are not being checked correctly? Any<br>
> other ideas?<br>
<br>
</div>I think I vaguely convinced myself that the infrastructure didn't<br>
actually check whether tests it classified as benchmarks passed or<br>
failed. Not sure I had any good evidence for it other than things like<br>
you're seeing.<br></blockquote><div><br></div><div style>This is false.</div><div style><br></div><div style>Every test gets compared against some kind of expected output file (which includes the exit code). The correct output is either:</div>
<div style> a. a reference output file</div><div style>or</div><div style> b. the output from a natively run executable</div><div style>depending on some of the test parameters.</div><div style><br></div><div style> - Daniel</div>
<div style> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="im"><br>
> I'm tempted to just change the reference output and see what<br>
> happens with the other bots...<br>
<br>
</div>Could be worth a try. But if that thing really is generating random<br>
numbers I'm not sure replacing one genuine cast-iron random number<br>
with another is the best solution long-term.<br>
<br>
Tim.<br>
_______________________________________________<br>
LLVM Developers mailing list<br>
<a href="mailto:LLVMdev@cs.uiuc.edu">LLVMdev@cs.uiuc.edu</a>         <a href="http://llvm.cs.uiuc.edu" target="_blank">http://llvm.cs.uiuc.edu</a><br>
<a href="http://lists.cs.uiuc.edu/mailman/listinfo/llvmdev" target="_blank">http://lists.cs.uiuc.edu/mailman/listinfo/llvmdev</a><br>
</blockquote></div><br></div></div>