<div dir="ltr">On 26 April 2013 00:35, Hal Finkel <span dir="ltr"><<a href="mailto:hfinkel@anl.gov" target="_blank">hfinkel@anl.gov</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div class="im"><span style="color:rgb(34,34,34)">Attached. Thanks!</span></div></blockquote><div><br></div><div style>The tar ball attached doesn't contain the original bug (alti.stepfft), and contains lots of directories in which I could look. Can you send me just the ones that are failing (just the testname.out-simple file)?</div>
<div><br></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div class="im"><span style="color:rgb(34,34,34)">When running without USE_REFERENCE_OUTPUT=1 (so that it compares to the system gcc), then all tests pass.</span></div>
</blockquote><div></div></div><br></div><div class="gmail_extra" style>This means that the problem is probably not in the compiler, but in the test, which is good news. But it also means it could take longer for you to reduce a case or find where the problem is.</div>
<div class="gmail_extra" style><br></div><div class="gmail_extra" style>I know that running against GCC is very tempting, after all we all want the bots green! But this is a false sense of security. If there is a bug in the libraries, or if both GCC and LLVM have similar bugs, it'll go undetected. It's not that difficult to get similar bugs, since we're all running similar benchmarks and we're all compiler engineers, so we'll probably find similar ways to implement a feature. </div>
<div class="gmail_extra" style><br></div><div class="gmail_extra" style>Also, people are free to "look up" GCC in order to understand how a particular target-specific feature is implemented, and do it on the same grounds. These problems are more common that we'd like to believe. Furthermore, if a bug is detected in GCC, but not fixed, it'll take a long time for us to detect as well, since there aren't many people monitoring and syncing both Bugzillas... ;)</div>
<div class="gmail_extra" style><br></div><div class="gmail_extra" style>Another way to fix the test is to produce output that is deterministic. I've fixed several tests by sorting tables before output.<br></div><div class="gmail_extra" style>
<br></div><div class="gmail_extra" style>All in all, I tend to agree with Daniel, and unless I see a case where it really is impossible to have a reference output, I'd rather keep them.</div><div class="gmail_extra" style>
<br></div><div class="gmail_extra" style>cheers,</div><div class="gmail_extra" style>--renato</div></div>