<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Oct 18, 2019 at 8:53 AM Renato Golin via llvm-dev <<a href="mailto:llvm-dev@lists.llvm.org">llvm-dev@lists.llvm.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">On Fri, 18 Oct 2019 at 16:30, David Greene <<a href="mailto:greened@obbligato.org" target="_blank">greened@obbligato.org</a>> wrote:<br>
> I have been viewing test-suite as a kind of second-level/backup testing<br>
> that catches things not flagged by "make check-all."  Is that a<br>
> reasonable interpretation?  I was hoping to get some end-to-end tests<br>
> under "make check-all" because that's easier for developers to run in<br>
> their workflows.<br>
<br>
It is a common understanding, which makes the test-suite less useful,<br>
but that's not really relevant.<br>
<br>
No one needs to the test-suite as part of their development processes,<br>
because we have bots for that.<br>
<br>
If you have decent piece-wise tests in Clang/LLVM, you really don't<br>
need end-to-end tests in Clang/LLVM, because the test-suite will run<br>
on bots and you will be told if you break them.<br>
<br>
Most errors will be picked up by piece-wise tests, and the minority<br>
where e2e make a difference can be reactive, rather than pro-active<br>
fixing.<br>
<br>
> Is there a proposal somewhere of what companies would be expected to do?<br>
> It's difficult for us engineers to talk to management without a concrete<br>
> set of expectations, resource requirements, etc.<br>
<br>
There were talks about upgrading Buildbot (the service), moving to<br>
Jenkins or something else (Travis?). None of them have the majority of<br>
the community behind, and that's the main problem.<br>
<br>
IIRC, the arguments (definitely outdated, probably wrong) were:<br>
<br>
Buildbot:<br>
 - Pros: we already have a big infra based on it, it's passable, an<br>
upgrade could ameliorate a lot of problems without creating many new<br>
ones.<br>
 - Cons: it's old tech and requires extensive coding to make it work<br>
<br>
Jenkins:<br>
 - Pros: Most companies use that already, it's more modetn than<br>
Apple's GreenBot is based on that, lots of plugins and expertise in<br>
the community<br>
 - Cons: It requires Java running on the client, which not all targets<br>
like. Alternatives require a separate server to run as a slave and<br>
connect to targets.<br>
<br>
Travis:<br>
 - Pros: It's natively compatible with Github (is is still the case?)<br>
and it could be the easiest to connect with our new repo for CI<br>
 - Cons: less expertise, I guess, and other things I don't really know.<br></blockquote><div><br></div><div>This is good summary! I just want to put some new options like BuildKite (we've been experimenting with this on MLIR: <a href="https://buildkite.com/mlir/">https://buildkite.com/mlir/</a> ), and GitHub Actions (Still in Beta: <a href="https://github.com/features/actions">https://github.com/features/actions</a> , I haven't had time to play with it). There are also paying options like CircleCI and TeamCity, but they seem out-of-scope for us I think?</div><div>It'd be interesting to collect a more complete list of CI tools free-for-open-source :)</div><div><br></div><div>-- </div><div>Mehdi</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">
<br>
<br>
> Nice!  That's much better.  Yes, it won't scale but it's much clearer<br>
> about what is being run.<br>
<br>
Perhaps adding a new column as to what components we test in each one<br>
would be nice.<br>
<br>
--renato<br>
_______________________________________________<br>
LLVM Developers mailing list<br>
<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a><br>
<a href="https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev" rel="noreferrer" target="_blank">https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev</a><br>
</blockquote></div></div></div></div>