<div dir="ltr">Hi David,<div><br></div><div>I agree that it needs to be fixed.  Thanks for communicating the issue.</div><div><br></div><div>I've submitted a change that XFAILs timeout tests.  This should make <span style="font-size:12.8000001907349px">lldb-x86_64-ubuntu-14.04-cmake</span> solid (fingers crossed).</div><div><br></div><div>Will our rotations alias still get failure emails like it does now?<br></div><div><br></div><div>Vince</div><div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, May 12, 2015 at 4:27 PM, David Blaikie <span dir="ltr"><<a href="mailto:dblaikie@gmail.com" target="_blank">dblaikie@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span class="">On Tue, May 12, 2015 at 4:15 PM, Galina Kistanova <span dir="ltr"><<a href="mailto:gkistanova@gmail.com" target="_blank">gkistanova@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div><div><div><div>Hi Vince,<br><br></div>Maybe "experimental" is not the best word to name the group. Anyway, the actual meaning is a group of builders which does not send e-mail notifications to the blame list on a failure after a green or interrupted build.<br>These builders are shown in the UI as usual, though, on the waterfall 
page they are at the right. The IRC notifications are sent on every 
builder status change.<br>The builders of this group builds on demand only.<br>I think this is not a desired behavior in this case. We still want these builders to build on regular commits to the dependent projects, I guess. This is an easy change. I'll make it as well.<br></div></div></div></div></div></div></blockquote></span><div><br>Thanks, that'd be great - could we disable IRC notification for these buildbots as well?<br> </div><span class=""><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div><div><div></div></div>Originally, the purpose of this group is just like that - someone introduce a new builder, work out all possible issues and make it reliably green, before it gets to a pool of regular builders and gets noisy.<br></div>The major issue with an unreliable builder is people get annoyed and stop pay attention to the failures. It would take quite an effort to get the situation back to normal.<br></div></div></div></blockquote><div><br></div></span><div>Indeed - the greater risk is people start ignoring other, valid buildbot email from reliable builders because it gets lost in the noise of the unreliable ones. That's why I'd be happy to aggressively mark as experimental (or any other approach) any buildbot that's producing particularly unhelpful notifications (email or IRC) or otherwise clouding the feedback these tools should be providing.<br><br>If someone is willing to put up with an unreliable builder and triage the failures manually - they can always forward the real failures to the mailing list, cc'ing whoever's appropriate, etc. But it shouldn't be every developer's job to figure out whether any bot email is valid or not.<span class="HOEnZb"><font color="#888888"><br><br><br>- David</font></span></div><div><div class="h5"><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><br></div>Thanks<span><font color="#888888"><br><br><br></font></span></div><span><font color="#888888">Galina<br><div><div><br><br></div></div></font></span><div class="gmail_extra"><br><div class="gmail_quote"><span>On Tue, May 12, 2015 at 2:35 PM, Vince Harron <span dir="ltr"><<a href="mailto:vince@nethacker.com" target="_blank">vince@nethacker.com</a>></span> wrote:<br></span><div><div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi all,<div><div><br></div><div>Before you move them, can you explain what experimental means?</div></div><div><br></div><div>The Linux builder does have some flakey builds and I'm working on that right now.</div><div><br></div><div>I'm one test away from getting OSX green.  I would like to see how it does.</div><div><br></div><div>We are doing a bringup on the android builder right now, it makes sense to move that somewhere else.</div><div><br></div><div>Also, it would be very much appreciated to include lldb-dev when discussing lldb issues.</div><div><br></div><div>Thanks,</div><div><br></div><div>Vince</div><div><br></div></div><div><div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, May 12, 2015 at 11:13 AM, Galina Kistanova <span dir="ltr"><<a href="mailto:gkistanova@gmail.com" target="_blank">gkistanova@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><span>>Perhaps everything should go in experimental first & only moved out once they've got a track record of success.<br></span>Yes, this is good idea. I will move them to experimental.<br><br>Thanks<span><font color="#888888"><br><br>Galina<br></font></span></div><div><div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, May 12, 2015 at 9:45 AM, David Blaikie <span dir="ltr"><<a href="mailto:dblaikie@gmail.com" target="_blank">dblaikie@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><div><div>On Tue, May 12, 2015 at 6:28 AM, Ed Maste <span dir="ltr"><<a href="mailto:emaste@freebsd.org" target="_blank">emaste@freebsd.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span>On 11 May 2015 at 22:52, Galina Kistanova <<a href="mailto:gkistanova@gmail.com" target="_blank">gkistanova@gmail.com</a>> wrote:<br>
> Hello everyone,<br>
><br>
> I'm not sure I follow the discussion.<br>
><br>
> Which builder are we talking about? Is it lldb-x86_64-freebsd?<br>
<br>
</span>A few different things are being discussed in this thread.<br>
lldb-x86_64-freebsd is the specific one of interest to me, but the<br>
lldb builders are in general unreliable.<br>
<span><br>
> There were 3 failure e-mail notifications related to this particular builder<br>
> during the last month. The last notification looks valid, since the build<br>
> went from green to red<br>
> (<a href="http://lab.llvm.org:8011/builders/lldb-x86_64-freebsd/builds/5589" target="_blank">http://lab.llvm.org:8011/builders/lldb-x86_64-freebsd/builds/5589</a> vs.<br>
> <a href="http://lab.llvm.org:8011/builders/lldb-x86_64-freebsd/builds/5588" target="_blank">http://lab.llvm.org:8011/builders/lldb-x86_64-freebsd/builds/5588</a>).<br>
<br>
</span>That green-to-red is almost certainly general flakiness, not directly<br>
related to the changes in build 5589.<br>
<br>
> ...<br>
<span>> Or we are talking about all the builders in the whole "lldb" category? If<br>
> so, let's agree on how it should behave from the notification perspective,<br>
> and I'll configure it to do so.<br>
><br>
> In general, any unreliable builder should be in the "experimental" category.<br>
> These are not sending notifications at all.<br>
<br>
</span>It seems the unreliability / flakiness applies to all of the lldb<br>
builders, other than the Windows ones which only build-test.  Does it<br>
make sense to apply the experimental category to all of them for now?<br></blockquote></div></div><div><br>Perhaps everything should go in experimental first & only moved out once they've got a track record of success. (& I wouldn't mind bumping a lot of existing builders back down to that category)<br> </div><span><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div><div>_______________________________________________<br>
llvm-commits mailing list<br>
<a href="mailto:llvm-commits@cs.uiuc.edu" target="_blank">llvm-commits@cs.uiuc.edu</a><br>
<a href="http://lists.cs.uiuc.edu/mailman/listinfo/llvm-commits" target="_blank">http://lists.cs.uiuc.edu/mailman/listinfo/llvm-commits</a><br>
</div></div></blockquote></span></div><br></div></div>
</blockquote></div><br></div>
</div></div><br>_______________________________________________<br>
llvm-commits mailing list<br>
<a href="mailto:llvm-commits@cs.uiuc.edu" target="_blank">llvm-commits@cs.uiuc.edu</a><br>
<a href="http://lists.cs.uiuc.edu/mailman/listinfo/llvm-commits" target="_blank">http://lists.cs.uiuc.edu/mailman/listinfo/llvm-commits</a><br>
<br></blockquote></div><br></div>
</div></div></blockquote></div></div></div><br></div></div>
</blockquote></div></div></div><br></div></div>
</blockquote></div><br></div>