<div dir="ltr"><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Oct 16, 2014 at 1:25 PM, Richard Smith <span dir="ltr"><<a href="mailto:richard@metafoo.co.uk" target="_blank">richard@metafoo.co.uk</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="gmail_extra">I suspect that: (a) the ones we want to run in all modes is "all tests, unless otherwise specified",</div></blockquote><div><br></div><div>I'm not sure why. CodeGen certainly doesn't seem very interesting here?</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="gmail_extra"> and (b) it is too expensive to do so by default (it would increase our testing time by probably around 4x).</div></blockquote><div><br></div><div>I'm not sure it would.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="gmail_extra"> I think the biggest risk for failure-on-bots-but-not-locally would be when developers add new tests that accidentally rely on a particular language standard. To that end, we could possibly run C tests in C89 and C++ tests in C++98, independent of the driver's default mode, if we're not in "run in all modes" mode. I'm open to suggestions.</div></blockquote><div><br></div><div>I just don't think this is a good way to get coverage. Either getting coverage is important, in which case we should figure out which tests to run in multiple modes, or it isn't and we shouldn't bother with it. Having the build bots use magic configurations to waste time exhaustively searching for compile modes which don't work seems like a bad approach. =/ </div></div><br><br></div></div>