<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Oct 16, 2014 at 4:15 PM, Chris Lattner <span dir="ltr"><<a href="mailto:clattner@apple.com" target="_blank">clattner@apple.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><span class=""><br><div><div>On Oct 16, 2014, at 1:29 PM, Chandler Carruth <<a href="mailto:chandlerc@google.com" target="_blank">chandlerc@google.com</a>> wrote:</div><br><blockquote type="cite"><div dir="ltr"><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Oct 16, 2014 at 1:25 PM, Richard Smith <span dir="ltr"><<a href="mailto:richard@metafoo.co.uk" target="_blank">richard@metafoo.co.uk</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="gmail_extra">I suspect that: (a) the ones we want to run in all modes is "all tests, unless otherwise specified",</div></blockquote><div><br></div><div>I'm not sure why. CodeGen certainly doesn't seem very interesting here?</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="gmail_extra"> and (b) it is too expensive to do so by default (it would increase our testing time by probably around 4x).</div></blockquote><div><br></div><div>I'm not sure it would.</div></div></div></div></blockquote><br></div></span><div>The question isn’t the absolute amount of time it adds, the question is whether the added time is paid for by additional bugs found.  I can’t imagine that testing all tests as C11 and C99 would find many bugs.  The standards are too similar, and therefore doing this by default would just be a waste of testing time.</div></div></blockquote><div><br></div><div><br></div><div>As a simple sanity test, it would make sense to hack up a prototype that does the proposed run-in-different-language-modes-automatically with coverage info, and then aggregate the coverage data and compare it to a control run.</div><div><br></div><div>Alternatively, it would be useful to exhibit at least a bug or two that would have been found by this extra testing (or which are uncovered by a quick prototype).</div><div><br></div><div>-- Sean Silva</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><span class="HOEnZb"><font color="#888888"><div><br></div><div>-Chris</div><br></font></span></div><br>_______________________________________________<br>
cfe-dev mailing list<br>
<a href="mailto:cfe-dev@cs.uiuc.edu">cfe-dev@cs.uiuc.edu</a><br>
<a href="http://lists.cs.uiuc.edu/mailman/listinfo/cfe-dev" target="_blank">http://lists.cs.uiuc.edu/mailman/listinfo/cfe-dev</a><br>
<br></blockquote></div><br></div></div>