<div><br><div class="gmail_quote"><div dir="auto">On Wed, Feb 7, 2018 at 2:38 AM Pavel Labath <<a href="mailto:labath@google.com">labath@google.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 6 February 2018 at 18:53, Zachary Turner <<a href="mailto:zturner@google.com" target="_blank">zturner@google.com</a>> wrote:<br>
> I'm not claiming that it's definitely caused by dotest and that moving away<br>
> from dotest is going to fix all the problems.  Rather, I'm claiming that<br>
> dotest has an unknown amount of flakiness (which may be 0, but may be<br>
> large), and the alternative has a known amount of flakiness (which is very<br>
<br>
Well, it may be unknown to you, but as someone who has managed a bot<br>
running tests for a long time, I can tell you that the it's pretty<br>
close to 0. Some test still fail sometimes, but the failure rate is<br>
approximately at the same level as failures caused by the bot not<br>
being able to reach the svn server to fetch the sources.</blockquote><div dir="auto">As someone who gave up on trying to set up a bot due to flakiness, I have a different experience.</div><div dir="auto"><br></div><div dir="auto"><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
<br>
That said, I'm still in favor of replacing the test runner with lit. I<br>
just think it needs to be done with a steady hand.<br>
<br>
<br>
>> So I believe we need more lightweight tests, and lldb-test can provide<br>
>> us with that. The main question for me (and that's something I don't<br>
>> really have an answer to) is how to make writing tests like that easy.<br>
>> E.g. for these "foreign" language plugins, the only way to make a<br>
>> self-contained regression test would be to check-in some dwarf which<br>
>> mimics what the compiler in question would produce. But doing that is<br>
>> extremely tedious as we don't have any tooling for that.<br>
><br>
><br>
>  Most of these other language plugins are being removed anyway.  Which<br>
> language plugins are going to still remain that aren't some flavor of c/c++?<br>
<br>
Well, right now we have another thread proposing the addition of a<br>
Rust plugin, and we will want to resurrect Java support sooner or<br>
later. <a href="https://goto.google.com/Ocaml" target="_blank">Go/Ocaml</a> folks may want to do the same, if doing that will not<br>
involve them inventing a whole test framework.<br>
<br>
So, I'm not sure where you were heading with that question..</blockquote><div dir="auto"><br></div><div dir="auto"><div>


<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<meta http-equiv="Content-Style-Type" content="text/css">
<title></title>
<meta name="Generator" content="Cocoa HTML Writer">
<style type="text/css">
p.p1 {margin: 0.0px 0.0px 0.0px 0.0px}
span.s1 {font-family: 'Helvetica'; font-weight: normal; font-style: normal; font-size: 12.00pt}
</style>


<p class="p1"><span class="s1">Rust is based on llvm so we have the tools necessary for that.<span class="Apple-converted-space">  </span>The rest are still maybe and someday so we can cross that bridge when (if) we come to it</span></p></div></div></div></div>