<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Sep 17, 2021 at 4:18 AM Andrzej Warzynski via flang-dev <<a href="mailto:flang-dev@lists.llvm.org">flang-dev@lists.llvm.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">Craig,<br>
<br>
There is quite a few Flang BuildBot workers available here: <br>
<a href="https://lab.llvm.org/buildbot/#/builders" rel="noreferrer" target="_blank">https://lab.llvm.org/buildbot/#/builders</a><br>
(type "flang" in the search box to filter the other ones out). Quite a <br>
few configurations are tested, but as Mehdi points out, these workers <br>
run post-merge.<br>
<br>
I'm not sure how to check the available configurations for pre-merge <br>
testing. I do know that there are both Linux and Windows bots running <br>
for every patch that you submit to Phabricator. A summary is usually <br>
available in the "Details" box at the top (alongside "Reviewers" etc).<br>
<br>
Most of us have had a patch reverted at some point - it's just really <br>
hard to cover the whole matrix. Your patch <br>
(<a href="https://reviews.llvm.org/D108059" rel="noreferrer" target="_blank">https://reviews.llvm.org/D108059</a>) landed with:<br>
 > This revision was landed with ongoing or failed builds.<br>
Perhaps pre-merge testing did hint something? I'm not sure whether it's <br>
possible to dig out the actual log, so we'll probably never know. And <br>
false negatives do happen occasionally.<br></blockquote><div><br></div><div>The log is still accessible, in the comment feed you can look for the most recent Harbormaster:</div><div><br></div><img src="cid:ii_ktoralr50" alt="Screen Shot 2021-09-17 at 12.29.57 PM.png" width="562" height="72"><br><div> </div><div>In this case it only found a clang-tidy failure.</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">
<br>
I'm not aware of any efforts to improve the upstream testing of LLVM <br>
Flang just now, but every now and then some extra configuration is <br>
added. Recently, Michael Kruse added a Windows post-merge worker. That's <br>
been a huge improvement for us.<br>
<br>
Btw, most of the time, "shared library builds" are a better at capturing <br>
dependency/build errors and that's what I tend to use by default.<br></blockquote><div><br></div><div>+1: the shared lib config is more sensitive to missing dependencies in CMake.<br></div><div><br></div><div>-- </div><div>Mehdi</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">
<br>
-Andrzej<br>
<br>
On 17/09/2021 00:08, Mehdi AMINI via flang-dev wrote:<br>
> Hi,<br>
> <br>
> It is really hard to cover the entire test matrix, and be bullet-proof: <br>
> next time you may get a revert because a sanitizer bot will fail <br>
> (ASAN/UBSAN/TSAN), or because you broke the IBM SystemZ bot or something <br>
> like that.<br>
> There is some testing on Phabricator revisions, but I believe it only <br>
> builds a single config on Linux and Windows.<br>
> <br>
> Some folks are looking into expanding the pre-merge testing flow, but <br>
> it'll take time!<br>
> <br>
> -- <br>
> Mehdi<br>
> <br>
> <br>
> <br>
> On Thu, Sep 16, 2021 at 3:47 PM Rasmussen, Craig E. via flang-dev <br>
> <<a href="mailto:flang-dev@lists.llvm.org" target="_blank">flang-dev@lists.llvm.org</a> <mailto:<a href="mailto:flang-dev@lists.llvm.org" target="_blank">flang-dev@lists.llvm.org</a>>> wrote:<br>
> <br>
>     I just had a push reverted because linking failed with shared<br>
>     libraries.  I, unsurprisingly, had been testing on my local machine<br>
>     with static libraries.____<br>
> <br>
>     __ __<br>
> <br>
>     I’ve heard mention that someone was trying to create a buildbot that<br>
>     could be used for testing.  Perhaps I should have paid more<br>
>     attention to this thread, but perhaps some kind soul could fill me<br>
>     in on testing.____<br>
> <br>
>     __ __<br>
> <br>
>     Thanks,____<br>
> <br>
>     Craig____<br>
> <br>
>     __ __<br>
> <br>
>     _______________________________________________<br>
>     flang-dev mailing list<br>
>     <a href="mailto:flang-dev@lists.llvm.org" target="_blank">flang-dev@lists.llvm.org</a> <mailto:<a href="mailto:flang-dev@lists.llvm.org" target="_blank">flang-dev@lists.llvm.org</a>><br>
>     <a href="https://lists.llvm.org/cgi-bin/mailman/listinfo/flang-dev" rel="noreferrer" target="_blank">https://lists.llvm.org/cgi-bin/mailman/listinfo/flang-dev</a><br>
>     <<a href="https://lists.llvm.org/cgi-bin/mailman/listinfo/flang-dev" rel="noreferrer" target="_blank">https://lists.llvm.org/cgi-bin/mailman/listinfo/flang-dev</a>><br>
> <br>
> <br>
> _______________________________________________<br>
> flang-dev mailing list<br>
> <a href="mailto:flang-dev@lists.llvm.org" target="_blank">flang-dev@lists.llvm.org</a><br>
> <a href="https://lists.llvm.org/cgi-bin/mailman/listinfo/flang-dev" rel="noreferrer" target="_blank">https://lists.llvm.org/cgi-bin/mailman/listinfo/flang-dev</a><br>
> <br>
_______________________________________________<br>
flang-dev mailing list<br>
<a href="mailto:flang-dev@lists.llvm.org" target="_blank">flang-dev@lists.llvm.org</a><br>
<a href="https://lists.llvm.org/cgi-bin/mailman/listinfo/flang-dev" rel="noreferrer" target="_blank">https://lists.llvm.org/cgi-bin/mailman/listinfo/flang-dev</a><br>
</blockquote></div></div>