<div dir="ltr">So far as I can tell no one is root causing this, so in the meantime can we disable check-tsan?</div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jun 2, 2015 at 7:07 AM, Dmitry Vyukov <span dir="ltr"><<a href="mailto:dvyukov@google.com" target="_blank">dvyukov@google.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Do we know that 14.4 GB of RAM is enough to run tsan tests with<br>
parallelism level 16? I would not be surprised if it is not. Don't yet<br>
have a machine to test.<br>
Alexey, reduce parallelism level for tsan tests to 4 on that bot and<br>
let's see what happens.<br>
<div class="HOEnZb"><div class="h5"><br>
<br>
On Fri, May 29, 2015 at 11:05 PM, Reid Kleckner <<a href="mailto:rnk@google.com">rnk@google.com</a>> wrote:<br>
> Happened to me again:<br>
> <a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__lab.llvm.org-3A8011_builders_sanitizer-2Dx86-5F64-2Dlinux_builds_18273_steps_annotate_logs_stdio&d=AwMFaQ&c=8hUWFZcy2Z-Za5rBPlktOQ&r=Mfk2qtn1LTDThVkh6-oGglNfMADXfJdty4_bhmuhMHA&m=ahOBKgDwTVkYcfN5_NQiHkbQcxiHodRdaRJXd1zqSZY&s=5QfNJncWzKEgG-5-r9NntiayojtpZswRn8zzL_sVs_E&e=" target="_blank">http://lab.llvm.org:8011/builders/sanitizer-x86_64-linux/builds/18273/steps/annotate/logs/stdio</a><br>
><br>
> In fact, this whole bot has a 20% failure rate with the same failure mode,<br>
> from looking at the history:<br>
> <a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__lab.llvm.org-3A8011_builders_sanitizer-2Dx86-5F64-2Dlinux_-3Fnumbuilds-3D50&d=AwMFaQ&c=8hUWFZcy2Z-Za5rBPlktOQ&r=Mfk2qtn1LTDThVkh6-oGglNfMADXfJdty4_bhmuhMHA&m=ahOBKgDwTVkYcfN5_NQiHkbQcxiHodRdaRJXd1zqSZY&s=FnL0VOfL2fOfiv3S1kOut9j_yah4r6u5rEJfTksMpeQ&e=" target="_blank">http://lab.llvm.org:8011/builders/sanitizer-x86_64-linux/?numbuilds=50</a><br>
><br>
> They all end with this:<br>
> [100%] Running ThreadSanitizer tests<br>
> -- Testing: 258 tests, 16 threads --<br>
> Testing: 0 .. 10.. 20.. 30.. 40.. 50.. 60.. 70.. 80.. 90..<br>
> command timed out: 1200 seconds without output, attempting to kill<br>
><br>
> It seems like we'd get a lot more value from this bot if we just disabled<br>
> the tsan tests, or at whichever tests have the highest deadlock risk.<br>
><br>
> On Thu, May 14, 2015 at 1:08 PM, Kostya Serebryany <<a href="mailto:kcc@google.com">kcc@google.com</a>> wrote:<br>
>><br>
>> +dvyukov<br>
>><br>
>> On Wed, May 13, 2015 at 11:08 AM, David Blaikie <<a href="mailto:dblaikie@gmail.com">dblaikie@gmail.com</a>><br>
>> wrote:<br>
>>><br>
>>><br>
>>><br>
>>> On Wed, May 13, 2015 at 10:39 AM, Reid Kleckner <<a href="mailto:rnk@google.com">rnk@google.com</a>> wrote:<br>
>>>><br>
>>>> It's a 20m timeout without output.<br>
>>>><br>
>>>> If you back up to the build and look at the 'annotate' step output,<br>
>>>> there's this text:<br>
>>>><br>
>>>> <a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__lab.llvm.org-3A8011_builders_sanitizer-2Dx86-5F64-2Dlinux_builds_17916_steps_annotate_logs_stdio&d=AwMFaQ&c=8hUWFZcy2Z-Za5rBPlktOQ&r=Mfk2qtn1LTDThVkh6-oGglNfMADXfJdty4_bhmuhMHA&m=ahOBKgDwTVkYcfN5_NQiHkbQcxiHodRdaRJXd1zqSZY&s=A0Y5zuI4xibMRT1PFIzvDqI_f3bZllEbDV__SZpotoc&e=" target="_blank">http://lab.llvm.org:8011/builders/sanitizer-x86_64-linux/builds/17916/steps/annotate/logs/stdio</a><br>
>>>><br>
>>>> -- Testing: 258 tests, 16 threads --<br>
>>>> Testing: 0 .. 10.. 20.. 30.. 40.. 50.. 60.. 70.. 80.. 90..<br>
>>>> command timed out: 1200 seconds without output, attempting to kill<br>
>>>> process killed by signal 9<br>
>>>> program finished with exit code -1<br>
>>>> elapsedTime=3507.624426<br>
>>>><br>
>>>> The annotator should probably include that timeout text in the failing<br>
>>>> step, so that sounds like a bug.<br>
>>>><br>
>>>> Another issue is that tsan times out sometimes.<br>
>>><br>
>>><br>
>>> Also - how often are the timeouts actually indicative of regressions.<br>
>>> Perhaps we could flag them as "exceptional" results, shown in purple (&<br>
>>> possibly not emailing anyone except the buildbot owner) - rather than red<br>
>>> failures somehow.<br>
>>><br>
>>>><br>
>>>> Should we be sending tsan build failures to upstream developers? How<br>
>>>> often do they break tsan? I suspect that when LLVM breaks tsan, it also<br>
>>>> breaks ASan, which isn't as flaky. It might be better to mail the tsan<br>
>>>> failures to Dmitry or someone and not upstream LLVM devs.<br>
>>>><br>
>>>> On Wed, May 13, 2015 at 9:59 AM, Diego Novillo <<a href="mailto:dnovillo@google.com">dnovillo@google.com</a>><br>
>>>> wrote:<br>
>>>>><br>
>>>>> Alexey, I got mail from one of the tsan buildbots, claiming a breakage<br>
>>>>> in tsan tests. But I cannot see anything on the logs it has for the<br>
>>>>> build.<br>
>>>>><br>
>>>>><br>
>>>>> <a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__lab.llvm.org-3A8011_builders_sanitizer-2Dx86-5F64-2Dlinux_builds_17916_steps_run-252064-2Dbit-2520tsan-2520unit-2520tests_logs_stdio&d=AwMFaQ&c=8hUWFZcy2Z-Za5rBPlktOQ&r=Mfk2qtn1LTDThVkh6-oGglNfMADXfJdty4_bhmuhMHA&m=ahOBKgDwTVkYcfN5_NQiHkbQcxiHodRdaRJXd1zqSZY&s=dDWZJSEwSqQ7zyzl6BYlHI_M57PBDtEO1--EcVa8DVU&e=" target="_blank">http://lab.llvm.org:8011/builders/sanitizer-x86_64-linux/builds/17916/steps/run%2064-bit%20tsan%20unit%20tests/logs/stdio</a><br>
>>>>><br>
>>>>> Any ideas?  Thanks. Diego.<br>
>>>>><br>
>>>>><br>
>>>>> ---------- Forwarded message ----------<br>
>>>>> From:  <<a href="mailto:llvm.buildmaster@lab.llvm.org">llvm.buildmaster@lab.llvm.org</a>><br>
>>>>> Date: Wed, May 13, 2015 at 12:53 PM<br>
>>>>> Subject: buildbot failure in LLVM on sanitizer-x86_64-linux<br>
>>>>> To: Brendon Cahoon <<a href="mailto:bcahoon@codeaurora.org">bcahoon@codeaurora.org</a>>, Diego Novillo<br>
>>>>> <<a href="mailto:dnovillo@google.com">dnovillo@google.com</a>>, Teresa Johnson <<a href="mailto:tejohnson@google.com">tejohnson@google.com</a>>, Yaron<br>
>>>>> Keren <<a href="mailto:yaron.keren@gmail.com">yaron.keren@gmail.com</a>><br>
>>>>> Cc: <a href="mailto:gkistanova@gmail.com">gkistanova@gmail.com</a><br>
>>>>><br>
>>>>><br>
>>>>> The Buildbot has detected a new failure on builder<br>
>>>>> sanitizer-x86_64-linux while building llvm.<br>
>>>>> Full details are available at:<br>
>>>>>  <a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__lab.llvm.org-3A8011_builders_sanitizer-2Dx86-5F64-2Dlinux_builds_17916&d=AwMFaQ&c=8hUWFZcy2Z-Za5rBPlktOQ&r=Mfk2qtn1LTDThVkh6-oGglNfMADXfJdty4_bhmuhMHA&m=ahOBKgDwTVkYcfN5_NQiHkbQcxiHodRdaRJXd1zqSZY&s=6MJwYFYbcCJS96D9qBSTcu_gXGnkWefEyopPMV5f-cg&e=" target="_blank">http://lab.llvm.org:8011/builders/sanitizer-x86_64-linux/builds/17916</a><br>
>>>>><br>
>>>>> Buildbot URL: <a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__lab.llvm.org-3A8011_&d=AwMFaQ&c=8hUWFZcy2Z-Za5rBPlktOQ&r=Mfk2qtn1LTDThVkh6-oGglNfMADXfJdty4_bhmuhMHA&m=ahOBKgDwTVkYcfN5_NQiHkbQcxiHodRdaRJXd1zqSZY&s=pXScqBxGTIbFAXK_ia3-fxtX3yq4853I8KJ8Hob0jL8&e=" target="_blank">http://lab.llvm.org:8011/</a><br>
>>>>><br>
>>>>> Buildslave for this Build: sanitizer-buildbot1<br>
>>>>><br>
>>>>> Build Reason: scheduler<br>
>>>>> Build Source Stamp: [branch trunk] 237261<br>
>>>>> Blamelist: bcahoon,dnovillo,tejohnson,yrnkrn<br>
>>>>><br>
>>>>> BUILD FAILED: failed annotate failed run 64-bit tsan unit tests<br>
>>>>><br>
>>>>> sincerely,<br>
>>>>>  -The Buildbot<br>
>>>>> _______________________________________________<br>
>>>>> LLVM Developers mailing list<br>
>>>>> <a href="mailto:LLVMdev@cs.uiuc.edu">LLVMdev@cs.uiuc.edu</a>         <a href="http://llvm.cs.uiuc.edu" target="_blank">http://llvm.cs.uiuc.edu</a><br>
>>>>> <a href="http://lists.cs.uiuc.edu/mailman/listinfo/llvmdev" target="_blank">http://lists.cs.uiuc.edu/mailman/listinfo/llvmdev</a><br>
>>>><br>
>>>><br>
>>>><br>
>>>> _______________________________________________<br>
>>>> LLVM Developers mailing list<br>
>>>> <a href="mailto:LLVMdev@cs.uiuc.edu">LLVMdev@cs.uiuc.edu</a>         <a href="http://llvm.cs.uiuc.edu" target="_blank">http://llvm.cs.uiuc.edu</a><br>
>>>> <a href="http://lists.cs.uiuc.edu/mailman/listinfo/llvmdev" target="_blank">http://lists.cs.uiuc.edu/mailman/listinfo/llvmdev</a><br>
>>>><br>
>>><br>
>>><br>
>>> _______________________________________________<br>
>>> LLVM Developers mailing list<br>
>>> <a href="mailto:LLVMdev@cs.uiuc.edu">LLVMdev@cs.uiuc.edu</a>         <a href="http://llvm.cs.uiuc.edu" target="_blank">http://llvm.cs.uiuc.edu</a><br>
>>> <a href="http://lists.cs.uiuc.edu/mailman/listinfo/llvmdev" target="_blank">http://lists.cs.uiuc.edu/mailman/listinfo/llvmdev</a><br>
>>><br>
>><br>
><br>
</div></div></blockquote></div><br></div>