<div dir="ltr">I agree, the PCH and Modules tests are a never-ending source of flakiness on Windows. I'm constantly disabling them by adding "REQUIRES: shell" or "REQUIRES: can-remove-opened-file", and it's a total hack.<div><br></div><div>I'd love it if we could diagnose what's really going on here.</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Jul 27, 2016 at 11:49 AM, Robinson, Paul <span dir="ltr"><<a href="mailto:paul.robinson@sony.com" target="_blank">paul.robinson@sony.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">> -----Original Message-----<br>
> From: cfe-dev [mailto:<a href="mailto:cfe-dev-bounces@lists.llvm.org">cfe-dev-bounces@lists.llvm.org</a>] On Behalf Of<br>
> Hahnfeld, Jonas via cfe-dev<br>
> Sent: Wednesday, July 27, 2016 4:18 AM<br>
> To: Renato Golin<br>
> Cc: <a href="mailto:gkistanova@gmail.com">gkistanova@gmail.com</a>; <a href="mailto:cfe-dev@lists.llvm.org">cfe-dev@lists.llvm.org</a>; <a href="mailto:mstester.llvm@gmail.com">mstester.llvm@gmail.com</a><br>
> Subject: Re: [cfe-dev] buildbot failure in LLVM on clang-x64-ninja-win7<br>
><br>
> > -----Original Message-----<br>
> > From: Renato Golin [mailto:<a href="mailto:renato.golin@linaro.org">renato.golin@linaro.org</a>]<br>
> > Sent: Wednesday, July 27, 2016 12:56 PM<br>
> > To: Hahnfeld, Jonas<br>
> > Cc: <a href="mailto:cfe-dev@lists.llvm.org">cfe-dev@lists.llvm.org</a>; <a href="mailto:gkistanova@gmail.com">gkistanova@gmail.com</a>;<br>
> <a href="mailto:mstester.llvm@gmail.com">mstester.llvm@gmail.com</a><br>
> > Subject: Re: [cfe-dev] buildbot failure in LLVM on clang-x64-ninja-win7<br>
> ><br>
> > On 27 July 2016 at 11:36, Hahnfeld, Jonas via cfe-dev <cfe-<br>
> > <a href="mailto:dev@lists.llvm.org">dev@lists.llvm.org</a>> wrote:<br>
> > > Huh, Clang::Rmodule-build.m failed for no obvious reason and is green<br>
> > > again for the next build:<br>
> > > <a href="http://lab.llvm.org:8011/builders/clang-x64-ninja-win7/builds/14221" rel="noreferrer" target="_blank">http://lab.llvm.org:8011/builders/clang-x64-ninja-win7/builds/14221</a><br>
> > ><br>
> > > Has anyone noticed this test in the past?<br>
> ><br>
> > A few pages of waterfall have shown no signs of R tests randomly<br>
> failing...<br>
> > This is weird.<br>
> ><br>
> > I'd let it be, for now. Both Galina and Denis are copied. If it happens<br>
> > again,<br>
> > they can investigate, as it doesn't seem related to your commit in any<br>
> way.<br>
> ><br>
> > cheers,<br>
> > --renato<br>
><br>
> [Copying also Reid]<br>
><br>
> <a href="http://lab.llvm.org:8011/builders/clang-x86-win2008-selfhost/builds/9307" rel="noreferrer" target="_blank">http://lab.llvm.org:8011/builders/clang-x86-win2008-selfhost/builds/9307</a><br>
> was<br>
> red,<br>
> <a href="http://lab.llvm.org:8011/builders/clang-x86-win2008-selfhost/builds/9308" rel="noreferrer" target="_blank">http://lab.llvm.org:8011/builders/clang-x86-win2008-selfhost/builds/9308</a><br>
> will<br>
> probably be green again (has already passed check 1 which failed before)<br>
><br>
> The failing tests (which are different) both show:<br>
> remark: building module '...' as '...'<br>
> which triggers a CHECK-NOT and "error: 'remark' diagnostics seen but not<br>
> expected:"<br>
><br>
> Thanks,<br>
> Jonas<br>
<br>
<br>
</div></div>We put up a new internal Windows bot on Monday, and it has been suffering<br>
a lot of transient failures in Modules and PCH.  On the other hand,<br>
llvm-clang-lld-x86_64-scei-ps4-windows10pro-fast has not been seeing these<br>
(so far as I've noticed) so I wonder if there's some environmental thing<br>
going on.  I had been going on the assumption that there was an internal<br>
problematic patch, but if folks upstream are also seeing flakiness in these<br>
tests then maybe something else is at the root of it.<br>
<br>
Our new bot is using 32 threads; are these tests unusually susceptible<br>
to problems with parallel execution?<br>
<br>
FTR the list of tests I've seen with this behavior:<br>
<br>
Modules/fmodules-validate-once-per-build-session.c      3<br>
Modules/no-stale-modtime.m              13<br>
Modules/Rmodule-build.m                 3<br>
Modules/validate-system-headers.m       3<br>
PCH/headersearch.cpp                    3<br>
PCH/verify_pch.m                        6<br>
<br>
--paulr<br>
<br>
</blockquote></div><br></div>