<div dir="ltr">For example, here is the set of test failures I'm getting on MacOSX 10.10 GM Candidate 3, with the latest Xcode 6.1 beta:<div><br></div><div>







<p class=""><span class="">Ran 313 tests.</span></p>
<p class=""><span class="">Failing Tests (6)</span></p>
<p class=""><span class="">FAIL: LLDB (suite) :: TestFormatters.py (Darwin snappy-2.local 14.0.0 Darwin Kernel Version 14.0.0: Tue Sep 23 23:01:41 PDT 2014; root:xnu-2782.1.97~6/RELEASE_X86_64 x86_64 i386)</span></p>
<p class=""><span class="">FAIL: LLDB (suite) :: TestCallWithTimeout.py (Darwin snappy-2.local 14.0.0 Darwin Kernel Version 14.0.0: Tue Sep 23 23:01:41 PDT 2014; root:xnu-2782.1.97~6/RELEASE_X86_64 x86_64 i386)</span></p>
<p class=""><span class="">FAIL: LLDB (suite) :: TestMemoryHistory.py (Darwin snappy-2.local 14.0.0 Darwin Kernel Version 14.0.0: Tue Sep 23 23:01:41 PDT 2014; root:xnu-2782.1.97~6/RELEASE_X86_64 x86_64 i386)</span></p>
<p class=""><span class="">FAIL: LLDB (suite) :: TestReportData.py (Darwin snappy-2.local 14.0.0 Darwin Kernel Version 14.0.0: Tue Sep 23 23:01:41 PDT 2014; root:xnu-2782.1.97~6/RELEASE_X86_64 x86_64 i386)</span></p>
<p class=""><span class="">FAIL: LLDB (suite) :: TestDataFormatterStdMap.py (Darwin snappy-2.local 14.0.0 Darwin Kernel Version 14.0.0: Tue Sep 23 23:01:41 PDT 2014; root:xnu-2782.1.97~6/RELEASE_X86_64 x86_64 i386)</span></p>
<p class=""><span class="">FAIL: LLDB (suite) :: TestDataFormatterStdVector.py (Darwin snappy-2.local 14.0.0 Darwin Kernel Version 14.0.0: Tue Sep 23 23:01:41 PDT 2014; root:xnu-2782.1.97~6/RELEASE_X86_64 x86_64 i386)</span></p></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Oct 14, 2014 at 9:33 AM, Todd Fiala <span dir="ltr"><<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><span class="">> <span style="font-family:arial,sans-serif;font-size:13px">This is the accumulation of all build breaks </span><div><span style="font-family:arial,sans-serif;font-size:13px"><br></span></div></span><div><span style="font-family:arial,sans-serif;font-size:13px">test breaks, rather...</span></div></div><div class="gmail_extra"><div><div class="h5"><br><div class="gmail_quote">On Tue, Oct 14, 2014 at 9:32 AM, Todd Fiala <span dir="ltr"><<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hey all,<div><br></div><div>I have good news and bad news.</div><div><br></div><div>Good: our test runners now report failures correctly.<br clear="all"><div>Bad news: our test runners have not been reporting failures since Aug 8 2014.</div><div><br></div><div>As of svn r219689, dotest.py will once again report errors/failures via non-zero return value, which will then propagate correctly through test run results as reported by 'make test', 'ninja check-lldb', etc.</div><div><br></div><div>You will almost certainly see test failures show up after r219689 that you were not seeing before.  This is the accumulation of all build breaks we essentially made starting with r215256.  We will need to fix the errors, not revert r219689.  (That would be akin to shooting the messenger).</div><div><br></div><div>The lesson here is make sure we don't break our test runner, and ensure return values from the test runner are preserved on exit.  That is a hugely critical facility.  I will look into adding a test runner test so we don't break that again.</div><span><font color="#888888"><div>-- <br></div><div dir="ltr">-Todd</div>
</font></span></div></div>
</blockquote></div><br><br clear="all"><div><br></div></div></div><span class="HOEnZb"><font color="#888888">-- <br><div dir="ltr">-Todd</div>
</font></span></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div dir="ltr">-Todd</div>
</div>