<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Oct 16, 2014 at 1:15 PM, Chandler Carruth <span dir="ltr"><<a href="mailto:chandlerc@google.com" target="_blank">chandlerc@google.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><span class=""><br><div class="gmail_quote">On Thu, Oct 16, 2014 at 12:58 PM, Richard Smith <span dir="ltr"><<a href="mailto:richard@metafoo.co.uk" target="_blank">richard@metafoo.co.uk</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"> -- Add a buildbot that runs all tests with the default language mode set to each possible value</blockquote></div><br></span>If you're going to do this, I would *much* rather see the test infrastructure changed so that all are exercised by doing 'check-clang'. I think it would be really bad to create yet another trap for developers where tests pass locally but fail on the bots. =/</div></div></blockquote><div><br></div><div>I was going to say, this seems similar to the idea we've had to run all the LLVM tests (& maybe Clang codegen) with all the supported targets - the tests are meant to be portable (& fail on buildbots when they aren't) and could actually be tested locally on the same machine if we had a mode in which we could run that.<br><br>But I'm not sure it should be the default - it seems pretty low-value to run all these flavors for every test run, yet nice to have the option should there be a bot failure (or to reduce the unique coverage from having different achitecture bots - most of it should be testable on just a single machine) to easily reproduce it locally, or do some more thorough testing if there's otherwise reason to believe there's a portability/language version-y problem.<br><br>(apologies for conflating these two ideas if you believe there's a good reason for them to be handled differently, but just where my mind went at the mention of this stuff)<br><br>Essentially I see running all these flavors as akin to running the test suite - it's an extra level of testing but I wouldn't make it the default as I don't think it hits the cost/benefit tradeoff for interactive development. Numbers would be necessary/helpful to back that up (or refute it).<br><br>- David</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><br></div><div class="gmail_extra">If its too expensive to do this for *all* tests w/o a standard specified, we should cherry pick the ones we want to run in all modes and just replicate the RUN lines with a script.</div></div>
<br>_______________________________________________<br>
cfe-dev mailing list<br>
<a href="mailto:cfe-dev@cs.uiuc.edu">cfe-dev@cs.uiuc.edu</a><br>
<a href="http://lists.cs.uiuc.edu/mailman/listinfo/cfe-dev" target="_blank">http://lists.cs.uiuc.edu/mailman/listinfo/cfe-dev</a><br>
<br></blockquote></div><br></div></div>