<div dir="ltr">Hello everyone,<div><br></div><div>Thanks for the discussion.</div><div><br></div><div>There are 2 threads here:</div><div><br></div><div>1. Why builders on Panda boards are failing on the way which looks like the bots are flaky.</div><div><br></div><div>First of all, the failures are consistent, and do not relate to tests. These are compilation of certain files stalled for longer than 20 mins.</div><div>The problem looks valid to me . I'm researching the cause. So far it looks like it takes more than 1GB to compile some unit. In particular, I see this with ASTContext.cpp and ASTMatchersInternal.cpp. There are maybe more of such files, I'll research.</div><div><br></div><div>Anyway, this issue has nothing to do with the way how exactly the build gets orchestrated. I.e. cmake + ninja would demonstrate the same stall as the currently used autoconfig + make.</div><div><br></div><div>I'm still researching and will report the exact findings as soon as I'll finalize them.</div><div><br></div><div>A big part of the false "flaky" sense is because we do incremental builds. Some problems remain hidden for a long time and get exposed often by some random event / commit, triggering "I'm so annoyed" discussions.</div><div><br></div><div>I will re-evaluate the need of incremental builds and will try clear builds to see how much commits would balk together. If it would still be reasonable, I'll switch the Cortex-A9 bots to clean builds.</div><div><br></div><div>For now, I take these bots down.</div><div><br></div><div>2. What to do with bots which are "noisy".</div><div><br></div><div>First of all, I'm still in the middle of reading the thread. :)</div><div><br></div><div>In general, I'm with Renato on this. It should not be easy to shut the annoying bot, just because it is not obvious at the moment why it is not happy. Bugging the owner, is fine. I spend quite some time watching the quality of the bots and communicating to the owners. If you are the owner, you know this.<br><br></div><div>Thanks<br><br></div><div>Galina<br></div><div><br></div><div><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Aug 27, 2015 at 7:10 AM, Renato Golin via llvm-dev <span dir="ltr"><<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On 27 August 2015 at 13:58, Daniel Sanders <<a href="mailto:Daniel.Sanders@imgtec.com">Daniel.Sanders@imgtec.com</a>> wrote:<br>
> I agree with the principle but 2 days feels a bit short to me since, accounting for time zone differences, it's closer to 1 working day. For example, an email sent at 9am PDT arrives at 5pm BST and (assuming normal working hours) might be read at 9am BST (1am PDT). Daylight savings can also make a difference since timezones that use it don't agree on when it's in effect. The owner taking a single day off is easily sufficient to go past the 2 day limit.<br>
<br>
</span>Yeah, that's my feeling, too. But we Philip said, the specifics should<br>
be discussed on a proper RFC thread, at least we all agree on some<br>
threshold being defined.<br>
<span class=""><br>
<br>
> However, the main comment I wanted to make is that it would be useful to be able to tell whether the buildmaster has picked up changes or not. I understand that many changes are automatically applied without a buildmaster restart but at the moment it can be difficult to tell when this happens.<br>
<br>
</span>If the bot owner changes the master and restart the slave, the old<br>
master will show the slave as offline and the new one as online. As<br>
long as it stops sending emails, that's most of the problem dealt<br>
with. But that leaves a trail of unfinished builds and bloats the<br>
master by collecting commits for a build that will never happen. We<br>
may have to change the logic to stop collecting commits for offline<br>
bots.<br>
<div class="HOEnZb"><div class="h5"><br>
cheers,<br>
--renato<br>
_______________________________________________<br>
LLVM Developers mailing list<br>
<a href="mailto:llvm-dev@lists.llvm.org">llvm-dev@lists.llvm.org</a><br>
<a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev</a><br>
</div></div></blockquote></div><br></div></div>