<div dir="ltr">Here's what I can do.<div><br></div><div>Put in the change (setting the default to use the new format).</div><div><br></div><div>Separately, put in a trial balloon commit with one failing test, one exceptional exit test, and one timeout test, and watch the ubuntu 14.04 buildbot catch it and fail.  Then reverse this out.  That should show beyond a reasonable doubt whether the buildbot catches new failures and errors.  (I think this is a noisy way to accomplish this, but it certainly would validate if its working).</div><div><br></div><div>-Todd</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Dec 9, 2015 at 8:06 AM, Todd Fiala <span dir="ltr"><<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Specifically, the markers for issue details are:<div><br></div><div>FAIL</div><div>ERROR</div><div>UNEXPECTED SUCCESS</div><div>TIMEOUT</div><div><br></div><div>(These are the fourth field in the array entries (lines 275 - 290) of packages/Python/lldbsuite/test/basic_results_formatter.py).</div><div><br></div><div>-Todd</div></div><div class="gmail_extra"><div><div class="h5"><br><div class="gmail_quote">On Wed, Dec 9, 2015 at 8:04 AM, Todd Fiala <span dir="ltr"><<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">That's a good point, Tamas.<div><br></div><div>I use (so I claim) the same all upper-case markers for the test result details.  Including, not using XPASS but rather UNEXPECTED SUCCESS for unexpected successes.  (The former would trigger the lit script IIRC to parse that as a failing-style result).</div><div><br></div><div>The intent is this is a no-op on the test runner.</div></div><div class="gmail_extra"><div><div><br><div class="gmail_quote">On Wed, Dec 9, 2015 at 8:02 AM, Tamas Berghammer <span dir="ltr"><<a href="mailto:tberghammer@google.com" target="_blank">tberghammer@google.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><a href="mailto:chying@google.com" target="_blank">+Ying Chen</a> <br><div><br></div><div>Ying, what do we have to do on the build bot side to support a change in the default test result summary formatter?</div></div><br><div class="gmail_quote"><div><div><div dir="ltr">On Wed, Dec 9, 2015 at 4:00 PM Todd Fiala via lldb-dev <<a href="mailto:lldb-dev@lists.llvm.org" target="_blank">lldb-dev@lists.llvm.org</a>> wrote:<br></div></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div><div dir="ltr">Hi all,<div><br></div><div>Per a previous thread on this, I've made all the changes I intended to make last night to get the intended replacement of test run results meet or exceed current requirements.</div><div><br></div><div>I'd like to switch over to that by default.  I'm depending on the test event system to be able to handle test method reruns in test results accounting.</div><div><br></div><div>The primary thing missing before was that timeouts were not routed through the test events system, nor were exception process exits (i.e. test inferiors exiting with a signal on POSIX systems).  Those were added last night so that test events are generated for those, and the BasicResultsFormatter presents that information properly. </div><div><br></div><div>I will switch it over to being the default output in a bit here.  Please let me know if you have any concerns once I flip it on by default.</div><div><br></div><div>Thanks!</div><div>-- <br></div><div><div><div dir="ltr">-Todd</div></div>
</div></div></div></div>
_______________________________________________<br>
lldb-dev mailing list<br>
<a href="mailto:lldb-dev@lists.llvm.org" target="_blank">lldb-dev@lists.llvm.org</a><br>
<a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/lldb-dev" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/mailman/listinfo/lldb-dev</a><br>
</blockquote></div>
</blockquote></div><br><br clear="all"><div><br></div></div></div><span><font color="#888888">-- <br><div><div dir="ltr">-Todd</div></div>
</font></span></div>
</blockquote></div><br><br clear="all"><div><br></div></div></div><span class="HOEnZb"><font color="#888888">-- <br><div><div dir="ltr">-Todd</div></div>
</font></span></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">-Todd</div></div>
</div>