<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Sun, May 4, 2014 at 1:33 PM, Hal Finkel <span dir="ltr"><<a href="mailto:hfinkel@anl.gov" target="_blank">hfinkel@anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="">----- Original Message -----<br>
> From: "Chris Lattner" <<a href="mailto:clattner@apple.com">clattner@apple.com</a>><br>
> To: "Hal Finkel" <<a href="mailto:hfinkel@anl.gov">hfinkel@anl.gov</a>><br>
> Cc: "LLVM Developers Mailing List" <<a href="mailto:llvmdev@cs.uiuc.edu">llvmdev@cs.uiuc.edu</a>><br>
> Sent: Sunday, May 4, 2014 1:37:42 PM<br>
> Subject: Re: [LLVMdev] [RFC] Benchmarking subset of the test suite<br>
><br>
> On May 4, 2014, at 5:39 AM, Hal Finkel <<a href="mailto:hfinkel@anl.gov">hfinkel@anl.gov</a>> wrote:<br>
> > Without further ado, I propose that a test-suite configuration<br>
> > designed for benchmarking exclude the following:<br>
><br>
> Unrelatedly to your point, I think we should just outright remove the<br>
> bulk of the SingleSource/Regression / SingleSource/UnitTests tests.<br>
>  They largely date back to before Clang existed and aren’t serving<br>
> much useful value anymore.<br>
><br>
> Any of them that are useful (e.g. the EH tests?) could be saved or<br>
> moved somewhere else.<br>
<br>
</div>I have mixed feelings about this. On the one hand, the regression and unit tests don't belong with the others, and if we start running applications multiple times for benchmarking, we'd likely want to exclude these correctness-only tests. On the other hand, I've found some of these tests quite useful in catching miscompiles (the EH tests, the bitfield tests, vector intrinsics tests and the va_args tests specifically come to mind). It might be useful to separate out some set of 'ABI' tests, even if we remove the others.<br>
</blockquote><div><br></div><div>+1 for small, single-source ABI execution tests.  There's definitely a place for them.</div></div></div></div>