<div dir="ltr">I forced a build on the ubuntu 14.04 cmake builder.  The build _after_ 9292 will contain the two changes (and we will expect failures on it).</div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Dec 9, 2015 at 10:05 AM, Todd Fiala <span dir="ltr"><<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">These went in as:<div><br></div><div>r255130 - turn it on by default</div><div>r255131 - create known issues.  This one is to be reverted if all 3 types show up properly.</div></div><div class="gmail_extra"><div><div class="h5"><br><div class="gmail_quote">On Wed, Dec 9, 2015 at 9:41 AM, Todd Fiala <span dir="ltr"><<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">It is a small change.<div><br></div><div>I almost have all the trial tests ready, so I'll just commit both changes at the same time (the flip on, and the trial balloon issues).</div><div><br></div><div>If all goes well and the three types of issue show up, then the last of the two will get reverted (the one with the failures).</div><div><br></div><div>If none (or only some) of the issues show up, they'll both get reverted.</div><div><br></div><div>-Todd</div></div><div class="gmail_extra"><div><div><br><div class="gmail_quote">On Wed, Dec 9, 2015 at 9:39 AM, Pavel Labath <span dir="ltr"><<a href="mailto:labath@google.com" target="_blank">labath@google.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">If it's not too much work, I think the extra bit of noise will not be<br>
a problem. But I don't think it is really necessary either.<br>
<br>
I assume the actual flip will be a small change that we can back out<br>
easily if we notice troubles... After a sufficient grace period we can<br>
remove the old formatter altogether and hopefully simplify the code<br>
somewhat.<br>
<span><font color="#888888"><br>
pl<br>
</font></span><div><div><br>
On 9 December 2015 at 17:08, Todd Fiala <<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>> wrote:<br>
> Here's what I can do.<br>
><br>
> Put in the change (setting the default to use the new format).<br>
><br>
> Separately, put in a trial balloon commit with one failing test, one<br>
> exceptional exit test, and one timeout test, and watch the ubuntu 14.04<br>
> buildbot catch it and fail.  Then reverse this out.  That should show beyond<br>
> a reasonable doubt whether the buildbot catches new failures and errors.  (I<br>
> think this is a noisy way to accomplish this, but it certainly would<br>
> validate if its working).<br>
><br>
> -Todd<br>
><br>
> On Wed, Dec 9, 2015 at 8:06 AM, Todd Fiala <<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>> wrote:<br>
>><br>
>> Specifically, the markers for issue details are:<br>
>><br>
>> FAIL<br>
>> ERROR<br>
>> UNEXPECTED SUCCESS<br>
>> TIMEOUT<br>
>><br>
>> (These are the fourth field in the array entries (lines 275 - 290) of<br>
>> packages/Python/lldbsuite/test/basic_results_formatter.py).<br>
>><br>
>> -Todd<br>
>><br>
>> On Wed, Dec 9, 2015 at 8:04 AM, Todd Fiala <<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>> wrote:<br>
>>><br>
>>> That's a good point, Tamas.<br>
>>><br>
>>> I use (so I claim) the same all upper-case markers for the test result<br>
>>> details.  Including, not using XPASS but rather UNEXPECTED SUCCESS for<br>
>>> unexpected successes.  (The former would trigger the lit script IIRC to<br>
>>> parse that as a failing-style result).<br>
>>><br>
>>> The intent is this is a no-op on the test runner.<br>
>>><br>
>>> On Wed, Dec 9, 2015 at 8:02 AM, Tamas Berghammer <<a href="mailto:tberghammer@google.com" target="_blank">tberghammer@google.com</a>><br>
>>> wrote:<br>
>>>><br>
>>>> +Ying Chen<br>
>>>><br>
>>>> Ying, what do we have to do on the build bot side to support a change in<br>
>>>> the default test result summary formatter?<br>
>>>><br>
>>>> On Wed, Dec 9, 2015 at 4:00 PM Todd Fiala via lldb-dev<br>
>>>> <<a href="mailto:lldb-dev@lists.llvm.org" target="_blank">lldb-dev@lists.llvm.org</a>> wrote:<br>
>>>>><br>
>>>>> Hi all,<br>
>>>>><br>
>>>>> Per a previous thread on this, I've made all the changes I intended to<br>
>>>>> make last night to get the intended replacement of test run results meet or<br>
>>>>> exceed current requirements.<br>
>>>>><br>
>>>>> I'd like to switch over to that by default.  I'm depending on the test<br>
>>>>> event system to be able to handle test method reruns in test results<br>
>>>>> accounting.<br>
>>>>><br>
>>>>> The primary thing missing before was that timeouts were not routed<br>
>>>>> through the test events system, nor were exception process exits (i.e. test<br>
>>>>> inferiors exiting with a signal on POSIX systems).  Those were added last<br>
>>>>> night so that test events are generated for those, and the<br>
>>>>> BasicResultsFormatter presents that information properly.<br>
>>>>><br>
>>>>> I will switch it over to being the default output in a bit here.<br>
>>>>> Please let me know if you have any concerns once I flip it on by default.<br>
>>>>><br>
>>>>> Thanks!<br>
>>>>> --<br>
>>>>> -Todd<br>
>>>>> _______________________________________________<br>
>>>>> lldb-dev mailing list<br>
>>>>> <a href="mailto:lldb-dev@lists.llvm.org" target="_blank">lldb-dev@lists.llvm.org</a><br>
>>>>> <a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/lldb-dev" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/mailman/listinfo/lldb-dev</a><br>
>>><br>
>>><br>
>>><br>
>>><br>
>>> --<br>
>>> -Todd<br>
>><br>
>><br>
>><br>
>><br>
>> --<br>
>> -Todd<br>
><br>
><br>
><br>
><br>
> --<br>
> -Todd<br>
</div></div></blockquote></div><br><br clear="all"><div><br></div></div></div><span><font color="#888888">-- <br><div><div dir="ltr">-Todd</div></div>
</font></span></div>
</blockquote></div><br><br clear="all"><div><br></div></div></div><span class="HOEnZb"><font color="#888888">-- <br><div><div dir="ltr">-Todd</div></div>
</font></span></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">-Todd</div></div>
</div>