<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Thu, Oct 16, 2014 at 1:15 PM, Chandler Carruth <span dir="ltr"><<a href="mailto:chandlerc@google.com" target="_blank">chandlerc@google.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><span class=""><br><div class="gmail_quote">On Thu, Oct 16, 2014 at 12:58 PM, Richard Smith <span dir="ltr"><<a href="mailto:richard@metafoo.co.uk" target="_blank">richard@metafoo.co.uk</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"> -- Add a buildbot that runs all tests with the default language mode set to each possible value</blockquote></div><br></span>If you're going to do this, I would *much* rather see the test infrastructure changed so that all are exercised by doing 'check-clang'. I think it would be really bad to create yet another trap for developers where tests pass locally but fail on the bots. =/</div><div class="gmail_extra"><br></div><div class="gmail_extra">If its too expensive to do this for *all* tests w/o a standard specified, we should cherry pick the ones we want to run in all modes and just replicate the RUN lines with a script.</div></div>
</blockquote></div><br></div><div class="gmail_extra">I suspect that: (a) the ones we want to run in all modes is "all tests, unless otherwise specified", and (b) it is too expensive to do so by default (it would increase our testing time by probably around 4x). I think the biggest risk for failure-on-bots-but-not-locally would be when developers add new tests that accidentally rely on a particular language standard. To that end, we could possibly run C tests in C89 and C++ tests in C++98, independent of the driver's default mode, if we're not in "run in all modes" mode. I'm open to suggestions.</div></div>