<div dir="ltr">Hi Tamas,<div><br></div><div><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Dec 10, 2015 at 2:52 AM, Tamas Berghammer <span dir="ltr"><<a href="mailto:tberghammer@google.com" target="_blank">tberghammer@google.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">HI Todd,<div><br></div><div>You changed the way the test failure list is printed in a way that now we only print the name of the test function failing with the name of the test file in parenthesis. Can we add back the name of the test class to this list? </div></div></blockquote><div><br></div><div>Sure.  I originally planned to have that in there but there was some discussion about it being too much info.  I'm happy to add that back.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><br></div><div>There are 2 reason I am asking for it:</div><div><span style="line-height:1.5">* To run only a specific test we have to specify the "-f" option to dotest.py and it takes the fully qualified function name as an argument. Before your change it was displayed in the test output (in a bit uncomfortable way) but after your change we have to open the test file and copy the class name from there to run only a single test suit.</span><br></div><div><span style="line-height:1.5">* With the new output format the output of the buildbot only displays the list of the failing test function names what isn't too specific in a lot of case (e.g. we have several test method called test_dwarf). This point is less important as the file name can be added to the output from the buildbot perspective.</span></div></div></blockquote><div><br></div><div>Okay, not sure exactly what is doing that printing, but the file name is available from the details of the summary.  Sounds like it is a text parsing change needed based on the changes I made to the format.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><span style="line-height:1.5"><br></span></div><div><span style="line-height:1.5">Thanks,</span></div></div></blockquote><div><br></div><div>Sure thing!</div><div><br></div><div>-Todd</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><span style="line-height:1.5">Tamas</span></div></div><div class="HOEnZb"><div class="h5"><br><div class="gmail_quote"><div dir="ltr">On Wed, Dec 9, 2015 at 7:57 PM Ying Chen <<a href="mailto:chying@google.com" target="_blank">chying@google.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I submitted this patch to include "ERROR" lines in buildbot step results. <div><a href="http://reviews.llvm.org/rL255145" target="_blank">http://reviews.llvm.org/rL255145</a><br></div><div><br></div><div>Error results will be displayed in step result like this after the patch, "ERROR: 9 (SIGKILL) test_buildbot_catches_exceptional_exit_dwarf"</div><div><br></div><div>Thanks,</div><div>Ying</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Dec 9, 2015 at 10:45 AM, Todd Fiala <span dir="ltr"><<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Great, thanks Tamas!<div><br></div><div>I left the default turned on, and just essentially removed the issues by parking them as .py.parked files.  That way we can flip them on in the future if we want to verify a testbot's detection of these.</div><div><br></div><div>I will be going back to the xUnit Results formatter and making sure it maps timeouts and exceptional errors to the xUnit error type with details.</div></div><div class="gmail_extra"><div><div><br><div class="gmail_quote">On Wed, Dec 9, 2015 at 10:30 AM, Tamas Berghammer <span dir="ltr"><<a href="mailto:tberghammer@google.com" target="_blank">tberghammer@google.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Thank you for making the experiment. It looks reasonable. For the ERROR the buildbot detected it and it will fail the build but it isn't listed in the list of failing tests what should be fixed. After this experiment I think it is fine to change the default output formatter from our side.<span><font color="#888888"><div><br></div><div>Tamas</div></font></span></div><div><div><br><div class="gmail_quote"><div dir="ltr">On Wed, Dec 9, 2015 at 6:26 PM Todd Fiala <<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">The reports look good at the test level:<div><br></div><div><a href="http://lab.llvm.org:8011/builders/lldb-x86_64-ubuntu-14.04-cmake/builds/9294" target="_blank">http://lab.llvm.org:8011/builders/lldb-x86_64-ubuntu-14.04-cmake/builds/9294</a><br></div><div><br></div><div>I'd say the buildbot reflection script missed the ERROR, so that is something maybe Ying can look at (the summary line in the build run), but that is unrelated AFAICT.</div><div><br></div><div>I'm going to move aside the failures.</div></div><div class="gmail_extra"></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Dec 9, 2015 at 10:13 AM, Todd Fiala <span dir="ltr"><<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I am going to stop the current build on that builder.  There was one change in it, and it will be another 20 minutes before it completes.  I don't want the repo in a known broken state that long.</div><div class="gmail_extra"><div><div><br><div class="gmail_quote">On Wed, Dec 9, 2015 at 10:07 AM, Todd Fiala <span dir="ltr"><<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I forced a build on the ubuntu 14.04 cmake builder.  The build _after_ 9292 will contain the two changes (and we will expect failures on it).</div><div class="gmail_extra"><div><div><br><div class="gmail_quote">On Wed, Dec 9, 2015 at 10:05 AM, Todd Fiala <span dir="ltr"><<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">These went in as:<div><br></div><div>r255130 - turn it on by default</div><div>r255131 - create known issues.  This one is to be reverted if all 3 types show up properly.</div></div><div class="gmail_extra"><div><div><br><div class="gmail_quote">On Wed, Dec 9, 2015 at 9:41 AM, Todd Fiala <span dir="ltr"><<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">It is a small change.<div><br></div><div>I almost have all the trial tests ready, so I'll just commit both changes at the same time (the flip on, and the trial balloon issues).</div><div><br></div><div>If all goes well and the three types of issue show up, then the last of the two will get reverted (the one with the failures).</div><div><br></div><div>If none (or only some) of the issues show up, they'll both get reverted.</div><div><br></div><div>-Todd</div></div><div class="gmail_extra"><div><div><br><div class="gmail_quote">On Wed, Dec 9, 2015 at 9:39 AM, Pavel Labath <span dir="ltr"><<a href="mailto:labath@google.com" target="_blank">labath@google.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">If it's not too much work, I think the extra bit of noise will not be<br>
a problem. But I don't think it is really necessary either.<br>
<br>
I assume the actual flip will be a small change that we can back out<br>
easily if we notice troubles... After a sufficient grace period we can<br>
remove the old formatter altogether and hopefully simplify the code<br>
somewhat.<br>
<span><font color="#888888"><br>
pl<br>
</font></span><div><div><br>
On 9 December 2015 at 17:08, Todd Fiala <<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>> wrote:<br>
> Here's what I can do.<br>
><br>
> Put in the change (setting the default to use the new format).<br>
><br>
> Separately, put in a trial balloon commit with one failing test, one<br>
> exceptional exit test, and one timeout test, and watch the ubuntu 14.04<br>
> buildbot catch it and fail.  Then reverse this out.  That should show beyond<br>
> a reasonable doubt whether the buildbot catches new failures and errors.  (I<br>
> think this is a noisy way to accomplish this, but it certainly would<br>
> validate if its working).<br>
><br>
> -Todd<br>
><br>
> On Wed, Dec 9, 2015 at 8:06 AM, Todd Fiala <<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>> wrote:<br>
>><br>
>> Specifically, the markers for issue details are:<br>
>><br>
>> FAIL<br>
>> ERROR<br>
>> UNEXPECTED SUCCESS<br>
>> TIMEOUT<br>
>><br>
>> (These are the fourth field in the array entries (lines 275 - 290) of<br>
>> packages/Python/lldbsuite/test/basic_results_formatter.py).<br>
>><br>
>> -Todd<br>
>><br>
>> On Wed, Dec 9, 2015 at 8:04 AM, Todd Fiala <<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>> wrote:<br>
>>><br>
>>> That's a good point, Tamas.<br>
>>><br>
>>> I use (so I claim) the same all upper-case markers for the test result<br>
>>> details.  Including, not using XPASS but rather UNEXPECTED SUCCESS for<br>
>>> unexpected successes.  (The former would trigger the lit script IIRC to<br>
>>> parse that as a failing-style result).<br>
>>><br>
>>> The intent is this is a no-op on the test runner.<br>
>>><br>
>>> On Wed, Dec 9, 2015 at 8:02 AM, Tamas Berghammer <<a href="mailto:tberghammer@google.com" target="_blank">tberghammer@google.com</a>><br>
>>> wrote:<br>
>>>><br>
>>>> +Ying Chen<br>
>>>><br>
>>>> Ying, what do we have to do on the build bot side to support a change in<br>
>>>> the default test result summary formatter?<br>
>>>><br>
>>>> On Wed, Dec 9, 2015 at 4:00 PM Todd Fiala via lldb-dev<br>
>>>> <<a href="mailto:lldb-dev@lists.llvm.org" target="_blank">lldb-dev@lists.llvm.org</a>> wrote:<br>
>>>>><br>
>>>>> Hi all,<br>
>>>>><br>
>>>>> Per a previous thread on this, I've made all the changes I intended to<br>
>>>>> make last night to get the intended replacement of test run results meet or<br>
>>>>> exceed current requirements.<br>
>>>>><br>
>>>>> I'd like to switch over to that by default.  I'm depending on the test<br>
>>>>> event system to be able to handle test method reruns in test results<br>
>>>>> accounting.<br>
>>>>><br>
>>>>> The primary thing missing before was that timeouts were not routed<br>
>>>>> through the test events system, nor were exception process exits (i.e. test<br>
>>>>> inferiors exiting with a signal on POSIX systems).  Those were added last<br>
>>>>> night so that test events are generated for those, and the<br>
>>>>> BasicResultsFormatter presents that information properly.<br>
>>>>><br>
>>>>> I will switch it over to being the default output in a bit here.<br>
>>>>> Please let me know if you have any concerns once I flip it on by default.<br>
>>>>><br>
>>>>> Thanks!<br>
>>>>> --<br>
>>>>> -Todd<br>
>>>>> _______________________________________________<br>
>>>>> lldb-dev mailing list<br>
>>>>> <a href="mailto:lldb-dev@lists.llvm.org" target="_blank">lldb-dev@lists.llvm.org</a><br>
>>>>> <a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/lldb-dev" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/mailman/listinfo/lldb-dev</a><br>
>>><br>
>>><br>
>>><br>
>>><br>
>>> --<br>
>>> -Todd<br>
>><br>
>><br>
>><br>
>><br>
>> --<br>
>> -Todd<br>
><br>
><br>
><br>
><br>
> --<br>
> -Todd<br>
</div></div></blockquote></div><br><br clear="all"><div><br></div></div></div><span><font color="#888888">-- <br><div><div dir="ltr">-Todd</div></div>
</font></span></div>
</blockquote></div><br><br clear="all"><div><br></div></div></div><span><font color="#888888">-- <br><div><div dir="ltr">-Todd</div></div>
</font></span></div>
</blockquote></div><br><br clear="all"><div><br></div></div></div><span><font color="#888888">-- <br><div><div dir="ltr">-Todd</div></div>
</font></span></div>
</blockquote></div><br><br clear="all"><div><br></div></div></div><span><font color="#888888">-- <br><div><div dir="ltr">-Todd</div></div>
</font></span></div>
</blockquote></div><br><br clear="all"><div><br></div></div><div class="gmail_extra">-- <br><div><div dir="ltr">-Todd</div></div>
</div></blockquote></div>
</div></div></blockquote></div><br><br clear="all"><div><br></div></div></div><span><font color="#888888">-- <br><div><div dir="ltr">-Todd</div></div>
</font></span></div>
</blockquote></div><br></div>
</blockquote></div>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">-Todd</div></div>
</div></div>