<div dir="ltr">Ah drats!  Okay.  Baby steps :-D</div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Aug 24, 2015 at 4:29 PM, Chaoren Lin <span dir="ltr"><<a href="mailto:chaorenl@google.com" target="_blank">chaorenl@google.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><span class=""><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"> <span style="font-size:12.8000001907349px">Ah okay, so we are working with libc++ on Ubuntu, that's good to hear.  Pre-14.04 I gave up on it.</span></blockquote><div><span style="font-size:12.8000001907349px"><br></span></div></span><div><span style="font-size:12.8000001907349px">We're still using libstdc++ for lldb itself. libc++ is used to compile inferiors for the </span><span style="font-size:12.8000001907349px">TestDataFormatterLibcc* tests.</span><span style="font-size:12.8000001907349px"> I don't actually know if libc++ works with lldb. Sorry to get your hopes up. :(</span></div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Aug 24, 2015 at 4:11 PM, Todd Fiala <span dir="ltr"><<a href="mailto:todd.fiala@gmail.com" target="_blank">todd.fiala@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span>On Mon, Aug 24, 2015 at 4:01 PM, Chaoren Lin <span dir="ltr"><<a href="mailto:chaorenl@google.com" target="_blank">chaorenl@google.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">The <span style="font-size:12.8000001907349px">TestDataFormatterLibcc* tests require libc++-dev:</span><div><span style="font-size:12.8000001907349px"><br></span></div><div><span style="font-size:12.8000001907349px">$ sudo apt-get install libc++-dev</span></div></div><div><div><div class="gmail_extra"><br></div></div></div></blockquote><div><br></div></span><div>Ah okay, so we are working with libc++ on Ubuntu, that's good to hear.  Pre-14.04 I gave up on it.</div><div><br></div><div>Will cmake automatically choose libc++ if it is present?  Or do I need to pass something to cmake to use libc++?</div><div><br></div><div>Thanks, Chaoren!</div><div><br></div><div>-Todd</div><div><div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div><div class="gmail_extra"><div class="gmail_quote">On Mon, Aug 24, 2015 at 3:42 PM, Todd Fiala via lldb-dev <span dir="ltr"><<a href="mailto:lldb-dev@lists.llvm.org" target="_blank">lldb-dev@lists.llvm.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><br><div class="gmail_quote"><span>On Mon, Aug 24, 2015 at 3:39 PM, Zachary Turner <span dir="ltr"><<a href="mailto:zturner@google.com" target="_blank">zturner@google.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Can't comment on the failures for Linux, but I don't think we have a good handle on the unexpected successes.  I only added that information to the output about a week ago, before that unexpected successes were actually going unnoticed.</div></blockquote><div><br></div></span><div>Okay, thanks Zachary.   A while back we had some flapping tests that would oscillate between unexpected success and failure on Linux.  Some of those might still be in that state but maybe (!) are fixed.</div><div><br></div><div>Anyone on the Linux end who happens to know if the fails in particular look normal, that'd be good to know.</div><div><br></div><div>Thanks!</div><div><div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><br></div><div>It's likely that someone could just go in there and remove the XFAIL from those tests.</div></div><br><div class="gmail_quote"><div><div><div dir="ltr">On Mon, Aug 24, 2015 at 3:37 PM Todd Fiala via lldb-dev <<a href="mailto:lldb-dev@lists.llvm.org" target="_blank">lldb-dev@lists.llvm.org</a>> wrote:<br></div></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div><div dir="ltr">Hi all,<div><br></div><div>I'm just trying to get a handle on current lldb test failures across different platforms.</div><div><br></div><div>On Linux on non-virtualized hardware, I currently see the failures below on Ubuntu 14.04.2 using a setup like this:</div><div>* stock linker (ld.bfd),</div><div>* g++ 4.9.2</div><div>* cmake</div><div>* ninja</div><div>* libstdc++</div><div><br></div><div>ninja check-lldb output:</div><div><br></div><div><div>Ran 394 test suites (15 failed) (3.807107%)</div><div>Ran 474 test cases (17 failed) (3.586498%)</div><div>Failing Tests (15)</div><div>FAIL: LLDB (suite) :: TestCPPThis.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestDataFormatterLibccIterator.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestDataFormatterLibccMap.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestDataFormatterLibccMultiMap.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestDataFormatterLibcxxMultiSet.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestDataFormatterLibcxxSet.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestDataFormatterLibcxxString.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestDataFormatterSkipSummary.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestDataFormatterUnordered.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestMiGdbSetShowPrint.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestRegisterVariables.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestStaticVariables.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestStepNoDebug.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestTypedefArray.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestVectorTypesFormatting.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div><br></div><div>Unexpected Successes (10)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestBatchMode.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestEvents.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestExitDuringStep.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestFdLeak.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestInferiorAssert.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestMiGdbSetShow.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestMiInterpreterExec.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestMiSyntax.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestRaise.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestStubSetSID.py (Linux rad 3.13.0-57-generic #95-Ubuntu SMP Fri Jun 19 09:28:15 UTC 2015 x86_64 x86_64)</div><div>ninja: build stopped: subcommand failed.</div></div><div><br></div><div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">On a similar setup, although bumped up to Ubuntu 14.04.3 and now on a VMWare VM, everything else the same, I see a similar report from 'ninja check-lldb':</div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px"><div>Ran 394 test suites (17 failed) (4.314721%)</div><div>Ran 474 test cases (19 failed) (4.008439%)</div><div>Failing Tests (17)</div><div>FAIL: LLDB (suite) :: TestAttachResume.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestCPPThis.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestDataFormatterLibccIterator.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestDataFormatterLibccMap.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestDataFormatterLibccMultiMap.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestDataFormatterLibcxxMultiSet.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestDataFormatterLibcxxSet.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestDataFormatterLibcxxString.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestDataFormatterSkipSummary.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestDataFormatterUnordered.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestMiGdbSetShowPrint.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestRegisterVariables.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestStaticVariables.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestStepNoDebug.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestStepOverWatchpoint.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestTypedefArray.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>FAIL: LLDB (suite) :: TestVectorTypesFormatting.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div><br></div><div>Unexpected Successes (11)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestBatchMode.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestEvents.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestExitDuringStep.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestFdLeak.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestInferiorAssert.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestMiGdbSetShow.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestMiInterpreterExec.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestMiSyntax.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestRaise.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestStubSetSID.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>UNEXPECTED SUCCESS: LLDB (suite) :: TestWatchedVarHitWhenInScope.py (Linux lldb 3.19.0-26-generic #28~14.04.1-Ubuntu SMP Wed Aug 12 14:09:17 UTC 2015 x86_64 x86_64)</div><div>ninja: build stopped: subcommand failed.</div></div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">Do these more or less match the current state of affairs for Linux tests?  If not, are there any suggestions on best practices for upgrades?  A while back I had tried things like clang and libc++ but I had arrived at the above setup (albeit typically with the gold linker) simply due to what worked, what was easy to debug and what built fast.</div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">Thanks for any confirmation on that!</div><div style="font-size:12.8000001907349px"></div></div><div><br></div>-- <br><div><div dir="ltr">-Todd</div></div>
</div></div></div>
_______________________________________________<br>
lldb-dev mailing list<br>
<a href="mailto:lldb-dev@lists.llvm.org" target="_blank">lldb-dev@lists.llvm.org</a><br>
<a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/lldb-dev" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/mailman/listinfo/lldb-dev</a><br>
</blockquote></div>
</blockquote></div></div></div><span><font color="#888888"><br><br clear="all"><div><br></div>-- <br><div><div dir="ltr">-Todd</div></div>
</font></span></div></div>
<br>_______________________________________________<br>
lldb-dev mailing list<br>
<a href="mailto:lldb-dev@lists.llvm.org" target="_blank">lldb-dev@lists.llvm.org</a><br>
<a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/lldb-dev" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/mailman/listinfo/lldb-dev</a><br>
<br></blockquote></div><br></div>
</div></div></blockquote></div></div></div><span><font color="#888888"><br><br clear="all"><div><br></div>-- <br><div><div dir="ltr">-Todd</div></div>
</font></span></div></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">-Todd</div></div>
</div>