<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Aug 25, 2015 at 4:22 PM,  <span dir="ltr"><<a href="mailto:dawn@burble.org" target="_blank">dawn@burble.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On Tue, Aug 25, 2015 at 04:41:34PM +0000, Zachary Turner wrote:<br>
> It would be great (and not too difficult) to add skip counts to dosep.  I<br>
> modified dotest so it formats the result summary in a nice single string<br>
> that you can regex match to get counts.  It's already matched in dosep, but<br>
> we just aren't pulling out the skip counts.  So it would be very easy to<br>
> add this.<br>
<br>
</span>I would like to see totals from all the dotest.py's RESULTs counts:<br>
    RESULT: PASSED (4 passes, 0 failures, 0 errors, 0 skipped, 0 expected failures, 0 unexpected successes)<br>
as well as the timeouts from dosep.<br>
<br>
Of course, dosep needs to be fixed to count the test cases correctly first. :)<br>
It seems to miss the results from every 4th test suite or so.<br>
<span class=""><br></span></blockquote><div><br></div><div>I may dig into that if nobody beats me to it.  I did the original multiprocessing work on dosep ~1.5 years ago and it may be doing something goofy.  So far the results have been remarkably stable on the counts for me over the last 2 days.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">
> On Tue, Aug 25, 2015 at 7:41 AM Todd Fiala via lldb-dev <<br>
> <a href="mailto:lldb-dev@lists.llvm.org">lldb-dev@lists.llvm.org</a>> wrote:<br>
</span><span class="">> > For counting I will probably go back to my old method of parsing the<br>
> > output of a serial dotest run, since IIRC I can get skip counts accurately<br>
> > there as well.  (Or perhaps that should be added to dosep.py, it's been a<br>
> > while since I last heavily modified that script).<br>
<br>
</span>You can get all the counts from running dosep by counting up the results<br>
from each dotest run.  Collect the output via:<br>
<span class=""><br>
    ./dosep.py -s --options "-v --executable $BLDDIR/bin/lldb" 2>&1 | tee test_out.log<br>
<br>
</span>Then your totals will be:<br>
<br>
    export passes=`grep -E "^RESULT: " test_out.log | sed 's/(//' | awk '{count+=$3} END {print count}'` || true<br>
    export failures=`grep -E "^RESULT:" test_out.log | awk '{count+=$5} END {print count}'` || true<br>
    export errors=`grep -E "^RESULT:" test_out.log | awk '{count+=$7} END {print count}'` || true<br>
    export skips=`grep -E "^RESULT:" test_out.log | awk '{count+=$9} END {print count}'` || true<br>
    [...]<br>
    export total=`grep -E "^Ran [0-9]+ tests? in" lldb_test_out.log | awk '{count+=$2} END {print count}'`<br>
<br></blockquote><div><br></div><div>Great, thanks Dawn! </div></div><div><br></div><div>I'd like to get all the counts into dosep.py at least as an option, but having something to cross check it with is good (and getting a quick answer is nice as well, thanks.)</div>-- <br><div class="gmail_signature"><div dir="ltr">-Todd</div></div>
</div></div>