We’ve had many instances of flakiness in non pexpect tests (on all platforms).  There’s no obvious pattern to when a test will be flaky.  Whether those are due to dotest or liblldb is an open question, but one good way of answering those types of questions is to replace one source of unknown-flakiness with a source of known-not-flakiness and seeing if the flakiness goes away.<br><br>The new-and-not-tested code you’re referring to would be about 5 lines of c++ that also directly calls the api, just like your dotest example.  So that aspect doesn’t feel like a convincing argument <br><div class="gmail_quote"><div dir="ltr">On Mon, Jan 29, 2018 at 5:28 PM Jim Ingham via Phabricator <<a href="mailto:reviews@reviews.llvm.org">reviews@reviews.llvm.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">jingham added a comment.<br>
<br>
lldb testcases are know not to be flakey if they don't use pexpect, which these wouldn't.  The setup machinery for running a dotest based test is pretty well tested at this point.<br>
<br>
And the lldb-test test would not just magically come into being by writing the lit-form text you suggested.  You will have to write a lldb-test func that marshals the input (both --complete-string and you'll also need a cursor position to test completion inside a line).  That's new and not tested code.  Whereas the dotest test relies on the API it is directly testing, and trust that the basic machinery of dotest is going to continue to function.<br>
<br>
<br>
<a href="https://reviews.llvm.org/D42656" rel="noreferrer" target="_blank">https://reviews.llvm.org/D42656</a><br>
<br>
<br>
<br>
</blockquote></div>