<div dir="ltr">(Sorry Pavel, missed your lldb-dev post on this.  See my comments there.  I'll pick it up there).</div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Dec 11, 2015 at 9:36 AM, Pavel Labath <span dir="ltr"><<a href="mailto:labath@google.com" target="_blank">labath@google.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">The concept is not there to protect against timeouts, which are caused<br>
by processes being too slow, for these we have been increasing<br>
timeouts where necessary. This is there to guard against hangs in the<br>
test suite (so the name might not be most fortunate, it would be<br>
something like "excpected deadlock"), where increasing the timeout<br>
does not help. E.g. TestEvents takes 4 seconds normally, but it does<br>
deadlock quite often even with the 4m timeout, as you can see from the<br>
redness. I have been trying to fix these, and the number are going<br>
down, but I just don't have enough time to address them all (for now).<br>
<br>
I don't find the concept per se that ridiculous, I think it is a good<br>
idea to be able to mark any failure mode as "expected", to prevent<br>
long red streaks on the buildbot (btw, I haven't checked, is it<br>
possible to XFAIL crashes now?), although the current code that does<br>
that is horrible.<br>
<div class="HOEnZb"><div class="h5"><br>
<br>
On 11 December 2015 at 17:24, Todd Fiala <<a href="mailto:todd.fiala@gmail.com">todd.fiala@gmail.com</a>> wrote:<br>
> (And by ridiculous, I mean the idea of having something time out, and having<br>
> that be an expected condition just to keep the test red, is a heavy<br>
> indication that something else needs to change --- feels like a bandaid on<br>
> top of a bad patch job --- something I think we want to address at a more<br>
> holistic level, which hopefully the low load test pass will help.  I think<br>
> increasing the timeout would be a better way to handle that in the short<br>
> term).<br>
><br>
> On Fri, Dec 11, 2015 at 9:22 AM, Todd Fiala <<a href="mailto:todd.fiala@gmail.com">todd.fiala@gmail.com</a>> wrote:<br>
>><br>
>> I think this (the expected timeout) will go away once I'm done with the<br>
>> low-load, single-worker follow up pass, fwiw.  If that is not the case, we<br>
>> should be disabling tests that intermittently timeout for reasons other than<br>
>> high load.<br>
>><br>
>> On Fri, Dec 11, 2015 at 9:21 AM, Todd Fiala <<a href="mailto:todd.fiala@gmail.com">todd.fiala@gmail.com</a>> wrote:<br>
>>><br>
>>> "Expected timeout" - that concept is ridiculous.<br>
>>><br>
>>> Why not increase the timeout?<br>
>>><br>
>>> -Todd<br>
>>><br>
>>> On Fri, Dec 11, 2015 at 3:06 AM, Pavel Labath via lldb-commits<br>
>>> <<a href="mailto:lldb-commits@lists.llvm.org">lldb-commits@lists.llvm.org</a>> wrote:<br>
>>>><br>
>>>> Author: labath<br>
>>>> Date: Fri Dec 11 05:05:24 2015<br>
>>>> New Revision: 255335<br>
>>>><br>
>>>> URL: <a href="http://llvm.org/viewvc/llvm-project?rev=255335&view=rev" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-project?rev=255335&view=rev</a><br>
>>>> Log:<br>
>>>> Revert "Turn on new test summary results by default."<br>
>>>><br>
>>>> The new test summary formatter does not honor the "expected timeout"<br>
>>>> markings, which makes our<br>
>>>> buildbots all red. I'm switching it off by default until we figure out a<br>
>>>> way to make this work.<br>
>>>><br>
>>>> Modified:<br>
>>>>     lldb/trunk/packages/Python/lldbsuite/test/dotest.py<br>
>>>>     lldb/trunk/packages/Python/lldbsuite/test/result_formatter.py<br>
>>>><br>
>>>> Modified: lldb/trunk/packages/Python/lldbsuite/test/dotest.py<br>
>>>> URL:<br>
>>>> <a href="http://llvm.org/viewvc/llvm-project/lldb/trunk/packages/Python/lldbsuite/test/dotest.py?rev=255335&r1=255334&r2=255335&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-project/lldb/trunk/packages/Python/lldbsuite/test/dotest.py?rev=255335&r1=255334&r2=255335&view=diff</a><br>
>>>><br>
>>>> ==============================================================================<br>
>>>> --- lldb/trunk/packages/Python/lldbsuite/test/dotest.py (original)<br>
>>>> +++ lldb/trunk/packages/Python/lldbsuite/test/dotest.py Fri Dec 11<br>
>>>> 05:05:24 2015<br>
>>>> @@ -407,12 +407,6 @@ def parseOptionsAndInitTestdirs():<br>
>>>>      if args.results_formatter_options:<br>
>>>>          configuration.results_formatter_options =<br>
>>>> args.results_formatter_options<br>
>>>><br>
>>>> -    # Default to using the BasicResultsFormatter if no formatter is<br>
>>>> specified<br>
>>>> -    # and we're not a test inferior.<br>
>>>> -    if not args.inferior and configuration.results_formatter_name is<br>
>>>> None:<br>
>>>> -        configuration.results_formatter_name = (<br>
>>>> -<br>
>>>> "lldbsuite.test.basic_results_formatter.BasicResultsFormatter")<br>
>>>> -<br>
>>>>      if args.lldb_platform_name:<br>
>>>>          configuration.lldb_platform_name = args.lldb_platform_name<br>
>>>>      if args.lldb_platform_url:<br>
>>>><br>
>>>> Modified: lldb/trunk/packages/Python/lldbsuite/test/result_formatter.py<br>
>>>> URL:<br>
>>>> <a href="http://llvm.org/viewvc/llvm-project/lldb/trunk/packages/Python/lldbsuite/test/result_formatter.py?rev=255335&r1=255334&r2=255335&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-project/lldb/trunk/packages/Python/lldbsuite/test/result_formatter.py?rev=255335&r1=255334&r2=255335&view=diff</a><br>
>>>><br>
>>>> ==============================================================================<br>
>>>> --- lldb/trunk/packages/Python/lldbsuite/test/result_formatter.py<br>
>>>> (original)<br>
>>>> +++ lldb/trunk/packages/Python/lldbsuite/test/result_formatter.py Fri<br>
>>>> Dec 11 05:05:24 2015<br>
>>>> @@ -683,9 +683,8 @@ class ResultsFormatter(object):<br>
>>>><br>
>>>>              if event_type == "terminate":<br>
>>>>                  self.terminate_called = True<br>
>>>> -            elif event_type in [<br>
>>>> -                    EventBuilder.TYPE_TEST_RESULT,<br>
>>>> -                    EventBuilder.TYPE_JOB_RESULT]:<br>
>>>> +            elif (event_type == EventBuilder.TYPE_TEST_RESULT or<br>
>>>> +                    event_type == EventBuilder.TYPE_JOB_RESULT):<br>
>>>>                  # Keep track of event counts per test/job result status<br>
>>>> type.<br>
>>>>                  # The only job (i.e. inferior process) results that<br>
>>>> make it<br>
>>>>                  # here are ones that cannot be remapped to the most<br>
>>>> recently<br>
>>>><br>
>>>><br>
>>>> _______________________________________________<br>
>>>> lldb-commits mailing list<br>
>>>> <a href="mailto:lldb-commits@lists.llvm.org">lldb-commits@lists.llvm.org</a><br>
>>>> <a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/lldb-commits" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/mailman/listinfo/lldb-commits</a><br>
>>><br>
>>><br>
>>><br>
>>><br>
>>> --<br>
>>> -Todd<br>
>><br>
>><br>
>><br>
>><br>
>> --<br>
>> -Todd<br>
><br>
><br>
><br>
><br>
> --<br>
> -Todd<br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">-Todd</div></div>
</div>