<div dir="ltr">Hi Zachary,<div><br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div>The big unknown here is how to make the buildbots understand unit test failures and trigger a failure when ninja check-lldb-unit fails.  </div></div>
</blockquote></div><br></div></div><div class="gmail_extra">There're two conditions buildbot will identity a test step as failure. </div><div class="gmail_extra">One is that the command has non-zero return code.</div><div class="gmail_extra">The other is that there're failing codes in stdout message. (Refer to LitTestCommand::evaluateCommand in <a href="https://github.com/llvm-mirror/zorg/blob/master/zorg/buildbot/commands/LitTestCommand.py">this file</a>.)</div><div class="gmail_extra">Failing codes are defined as:</div><div class="gmail_extra"><div class="gmail_extra">    failingCodes = set(['FAIL', 'XPASS', 'KPASS', 'UNRESOLVED', 'TIMEOUT'])</div><div class="gmail_extra"><br></div><div class="gmail_extra">So if the failures are print out as '^FAIL: (.*) \(.*\)', buildbot will understand it's failing even if ninja check-lldb-unit returns 0.</div><div class="gmail_extra">Or we could add some logic to the above file to handle the output of unit test.</div><div><br></div><div>Thanks,</div><div>Ying</div></div></div>