<div dir="ltr">Yes, you are reading it correctly (for totclang we mean the totclang at the time when the test suit was run).<div><br></div><div>The cmake builder runs in GCE and it uploads all test logs to Google Cloud Storage (including full host logs and server logs). I used a python script (running also in GCE) to download this data and to parse the test output from the test traces.</div></div><br><div class="gmail_quote"><div dir="ltr">On Tue, Sep 15, 2015 at 5:08 PM Todd Fiala <<a href="mailto:todd.fiala@gmail.com">todd.fiala@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Just to make sure I'm reading these right:<div><br></div><div><div>========== Compiler: totclang Architecture: x86_64 ==========</div><div><br></div><div>UnexpectedSuccess</div><div>TestMiInterpreterExec.MiInterpreterExecTestCase.test_lldbmi_settings_set_target_run_args_before (250/250 100.000000%)</div><div>TestRaise.RaiseTestCase.test_restart_bug_with_dwarf (119/250 47.600000%)</div><div>TestMiSyntax.MiSyntaxTestCase.test_lldbmi_process_output (250/250 100.000000%)</div><div>TestInferiorAssert.AssertingInferiorTestCase.test_inferior_asserting_expr_dwarf (195/250 78.000000%)</div><div><br></div></div><div><br></div><div>This is saying that running the tests with a top of tree clang, on x86_64, we see (for example):<br>* test_lldbmi_settings_set_target_run_args_before() is always passing,</div><div>* test_inferior_asserting_expr_dwarf() is always passing</div><div>* test_restart_bug_with_dwarf() is failing more often than passing.</div><div><br></div><div>This is incredibly useful for figuring out the true disposition of a test on different configurations.  What method did you use to gather that data?</div></div><div class="gmail_extra"></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Sep 15, 2015 at 9:03 AM, Todd Fiala <span dir="ltr"><<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Wow Tamas, this is perfect.  Thanks for pulling that together!<div><br></div><div>Don't worry about the bigger file.</div><div><br></div><div>Thanks much.</div><div><br></div><div>-Todd</div></div><div class="gmail_extra"><div><div><br><div class="gmail_quote">On Tue, Sep 15, 2015 at 8:56 AM, Tamas Berghammer <span dir="ltr"><<a href="mailto:tberghammer@google.com" target="_blank">tberghammer@google.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I created a new statistic what separates the data based on compiler and architecture and I also extended it to the last 250 builds on the Linux build bot. If you would like to see the build IDs for the different outcomes then let me know, because I have them collected out, but it is a quite big file.<span><font color="#888888"><div><br></div><div><span style="line-height:1.5;font-size:13.2px">Tamas</span><br></div></font></span><div><div><br><div class="gmail_quote"><div dir="ltr">On Tue, Sep 15, 2015 at 3:37 PM Todd Fiala <<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Tue, Sep 15, 2015 at 2:57 AM, Tamas Berghammer <span dir="ltr"><<a href="mailto:tberghammer@google.com" target="_blank">tberghammer@google.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Todd,<div><br></div><div>I attached the statistic of the last 100 test run on the Linux x86_64 builder (<a href="http://lab.llvm.org:8011/builders/lldb-x86_64-ubuntu-14.04-cmake" target="_blank">http://lab.llvm.org:8011/builders/lldb-x86_64-ubuntu-14.04-cmake</a>). The data might be a little bit noisy because of the actual test failures happening because of a temporary regression, but they should give you a general idea about what is happening. </div><div><br></div></div></blockquote><div><br></div></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div>Thanks, Tamas!  I'll have a look.</div></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div></div><div>I will try to create a statistic where the results are displayed separately for each compiler and architecture to get a bit more detailed view, but it will take some time. If you want I can include the list of build numbers for all outcome, but it will be a very log list (currently only included for Timeout and Failure)</div><div><br></div></div></blockquote><div><br></div></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div>I'll know better when I have a look at what you provided.  The hole I see right now is we're not adequately dealing with unexpected successes for different configurations.  Any reporting around that is helpful.</div><div><br></div><div>Thanks!</div></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div></div><div>Tamas</div><br><div class="gmail_quote"><div><div><div dir="ltr">On Mon, Sep 14, 2015 at 11:24 PM Todd Fiala via lldb-dev <<a href="mailto:lldb-dev@lists.llvm.org" target="_blank">lldb-dev@lists.llvm.org</a>> wrote:<br></div></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div><div dir="ltr">On an Ubuntu 14.04 x86_64 system, I'm seeing the following results:<div><br></div><div><b>cmake/ninja/clang-3.6:</b></div><div><br></div><div><div>Testing: 395 test suites, 24 threads</div><div>395 out of 395 test suites processed - TestGdbRemoteKill.py</div><div>Ran 395 test suites (0 failed) (0.000000%)</div><div>Ran 478 test cases (0 failed) (0.000000%)</div><div><br></div><div>Unexpected Successes (6)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestConstVariables.py</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestEvents.py</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestMiBreak.py</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestMiGdbSetShow.py</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestMiInterpreterExec.py</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestMiSyntax.py</div><div><br></div><div><br></div><div><b>cmake/ninja/gcc-4.9.2:</b></div><div><br></div><div><div>395 out of 395 test suites processed - TestMultithreaded.py</div><div>Ran 395 test suites (1 failed) (0.253165%)</div><div>Ran 457 test cases (1 failed) (0.218818%)</div><div>Failing Tests (1)</div><div>FAIL: LLDB (suite) :: TestRegisterVariables.py</div><div><br></div><div>Unexpected Successes (6)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestDataFormatterSynth.py</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestMiBreak.py</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestMiGdbSetShow.py</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestMiInterpreterExec.py</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestMiSyntax.py</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestRaise.py</div></div><div><br></div><div><br></div><div>I will look into those.  I suspect some of them are compiler-version specific, much like some of the OS X ones I dug into earlier.</div>-- <br><div><div dir="ltr">-Todd</div></div>
</div></div></div></div>
_______________________________________________<br>
lldb-dev mailing list<br>
<a href="mailto:lldb-dev@lists.llvm.org" target="_blank">lldb-dev@lists.llvm.org</a><br>
<a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/lldb-dev" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/mailman/listinfo/lldb-dev</a><br>
</blockquote></div></div>
</blockquote></div></div></div><div dir="ltr"><div class="gmail_extra"><br><br clear="all"><div><br></div>-- <br><div><div dir="ltr">-Todd</div></div>
</div></div></blockquote></div></div></div></div>
</blockquote></div><br><br clear="all"><div><br></div></div></div><span><font color="#888888">-- <br><div><div dir="ltr">-Todd</div></div>
</font></span></div>
</blockquote></div><br><br clear="all"><div><br></div></div><div class="gmail_extra">-- <br><div><div dir="ltr">-Todd</div></div>
</div></blockquote></div>