<div dir="ltr">Yes, the output of dotest.py goes through <span style="font-size:12.8px">LitTestCommand parse.</span><div>The parser is matching for "XPASS", but dotest output is using "UNEXPECTED SUCCESS". :)</div><div><br></div><div>Thanks,</div><div>Ying</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Oct 20, 2015 at 6:34 PM, Todd Fiala <span dir="ltr"><<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Ying,<div><br></div><div>Our dotest.py lldb test results go through that lit test parser system?  I see XPASS happen frequently (and in fact is my whole reason for starting a thread on getting rid of flakey tests, or making them run enough times so that their output can be a useful signal rather than useless).  According to this script, an XPASS would be listed as failure.  I'm not seeing us treat XPASS as failures AFAICT.</div><div><br></div><div>Are we just saying that our gtests get processed by that?</div><div><br></div><div>-Todd </div></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="h5">On Tue, Oct 20, 2015 at 4:51 PM, Ying Chen via lldb-dev <span dir="ltr"><<a href="mailto:lldb-dev@lists.llvm.org" target="_blank">lldb-dev@lists.llvm.org</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5"><div dir="ltr">Hi Zachary,<span><div><br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div>The big unknown here is how to make the buildbots understand unit test failures and trigger a failure when ninja check-lldb-unit fails.  </div></div>
</blockquote></div><br></div></div></span><div class="gmail_extra">There're two conditions buildbot will identity a test step as failure. </div><div class="gmail_extra">One is that the command has non-zero return code.</div><div class="gmail_extra">The other is that there're failing codes in stdout message. (Refer to LitTestCommand::evaluateCommand in <a href="https://github.com/llvm-mirror/zorg/blob/master/zorg/buildbot/commands/LitTestCommand.py" target="_blank">this file</a>.)</div><div class="gmail_extra">Failing codes are defined as:</div><div class="gmail_extra"><div class="gmail_extra">    failingCodes = set(['FAIL', 'XPASS', 'KPASS', 'UNRESOLVED', 'TIMEOUT'])</div><div class="gmail_extra"><br></div><div class="gmail_extra">So if the failures are print out as '^FAIL: (.*) \(.*\)', buildbot will understand it's failing even if ninja check-lldb-unit returns 0.</div><div class="gmail_extra">Or we could add some logic to the above file to handle the output of unit test.</div><div><br></div><div>Thanks,</div><div>Ying</div></div></div>
<br></div></div>_______________________________________________<br>
lldb-dev mailing list<br>
<a href="mailto:lldb-dev@lists.llvm.org" target="_blank">lldb-dev@lists.llvm.org</a><br>
<a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/lldb-dev" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/mailman/listinfo/lldb-dev</a><br>
<br></blockquote></div><span class="HOEnZb"><font color="#888888"><br><br clear="all"><div><br></div>-- <br><div><div dir="ltr">-Todd</div></div>
</font></span></div>
</blockquote></div><br></div>