<div dir="ltr">You cannot fix a flakey test by just running it more than once, can you? I mean, the probability of test failure decreases from <i>p</i> to <i>p</i>^3, but it is still not zero.</div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Oct 16, 2017 at 2:03 PM, Vitaly Buka via llvm-commits <span dir="ltr"><<a href="mailto:llvm-commits@lists.llvm.org" target="_blank">llvm-commits@lists.llvm.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">It does not makes test slower as it passes on all platforms from the first time.<div><br></div><div>We don't suspect issues with functionally, rather some specific platform bug.<br><div>Also on Android we know only one device were it fails. And I guess it fails only in Asan mode?</div><div>So if we mark it unsupported, it should be very specific.</div><div><span style="font-size:12.8px">E.g. // UNSUPPORTED:</span><span style="font-size:12.8px"> </span>android && asan && x86 (not sure if that one is 64bit and how we exactly recognize x86 on android)<br></div></div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Oct 16, 2017 at 1:49 PM, David Blaikie via llvm-commits <span dir="ltr"><<a href="mailto:llvm-commits@lists.llvm.org" target="_blank">llvm-commits@lists.llvm.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">If this functionality isn't reliable on Android, I think UNSUPPORTED/XFAIL is more appropriate than deflaking like this. The functionality's no good if it fails that much, so why test/support it, making tests slower and risk flakiness creeping in on other platforms due to the more generous testing?<br></div><div class="m_469375471826616672HOEnZb"><div class="m_469375471826616672h5"><br><div class="gmail_quote"><div dir="ltr">On Fri, Oct 13, 2017 at 4:57 PM Evgeniy Stepanov via llvm-commits <<a href="mailto:llvm-commits@lists.llvm.org" target="_blank">llvm-commits@lists.llvm.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Author: eugenis<br>
Date: Fri Oct 13 16:57:08 2017<br>
New Revision: 315777<br>
<br>
URL: <a href="http://llvm.org/viewvc/llvm-project?rev=315777&view=rev" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-pr<wbr>oject?rev=315777&view=rev</a><br>
Log:<br>
[asan] Deflake one test by running it 3 times.<br>
<br>
The test seems to trigger an android platform bug under load.<br>
<br>
Modified:<br>
    compiler-rt/trunk/test/sanitiz<wbr>er_common/TestCases/Linux/<wbr>allow_user_segv.cc<br>
<br>
Modified: compiler-rt/trunk/test/sanitiz<wbr>er_common/TestCases/Linux/<wbr>allow_user_segv.cc<br>
URL: <a href="http://llvm.org/viewvc/llvm-project/compiler-rt/trunk/test/sanitizer_common/TestCases/Linux/allow_user_segv.cc?rev=315777&r1=315776&r2=315777&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-pr<wbr>oject/compiler-rt/trunk/test/<wbr>sanitizer_common/TestCases/<wbr>Linux/allow_user_segv.cc?rev=<wbr>315777&r1=315776&r2=315777&<wbr>view=diff</a><br>
==============================<wbr>==============================<wbr>==================<br>
--- compiler-rt/trunk/test/sanitiz<wbr>er_common/TestCases/Linux/<wbr>allow_user_segv.cc (original)<br>
+++ compiler-rt/trunk/test/sanitiz<wbr>er_common/TestCases/Linux/<wbr>allow_user_segv.cc Fri Oct 13 16:57:08 2017<br>
@@ -4,16 +4,34 @@<br>
 // clang-format off<br>
 // RUN: %clangxx -O0 %s -o %t<br>
<br>
+// RUN: %env_tool_opts=handle_segv=0 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK0 || \<br>
+// RUN: %env_tool_opts=handle_segv=0 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK0 || \<br>
 // RUN: %env_tool_opts=handle_segv=0 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK0<br>
+// RUN: %env_tool_opts=handle_segv=1 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK1 || \<br>
+// RUN: %env_tool_opts=handle_segv=1 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK1 || \<br>
 // RUN: %env_tool_opts=handle_segv=1 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK1<br>
+// RUN: %env_tool_opts=handle_segv=2 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK2 || \<br>
+// RUN: %env_tool_opts=handle_segv=2 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK2 || \<br>
 // RUN: %env_tool_opts=handle_segv=2 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK2<br>
<br>
+// RUN: %env_tool_opts=handle_segv=0:a<wbr>llow_user_segv_handler=0 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK0 || \<br>
+// RUN: %env_tool_opts=handle_segv=0:a<wbr>llow_user_segv_handler=0 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK0 || \<br>
 // RUN: %env_tool_opts=handle_segv=0:a<wbr>llow_user_segv_handler=0 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK0<br>
+// RUN: %env_tool_opts=handle_segv=1:a<wbr>llow_user_segv_handler=0 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK2 || \<br>
+// RUN: %env_tool_opts=handle_segv=1:a<wbr>llow_user_segv_handler=0 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK2 || \<br>
 // RUN: %env_tool_opts=handle_segv=1:a<wbr>llow_user_segv_handler=0 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK2<br>
+// RUN: %env_tool_opts=handle_segv=2:a<wbr>llow_user_segv_handler=0 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK2 || \<br>
+// RUN: %env_tool_opts=handle_segv=2:a<wbr>llow_user_segv_handler=0 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK2 || \<br>
 // RUN: %env_tool_opts=handle_segv=2:a<wbr>llow_user_segv_handler=0 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK2<br>
<br>
+// RUN: %env_tool_opts=handle_segv=0:a<wbr>llow_user_segv_handler=1 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK0 || \<br>
+// RUN: %env_tool_opts=handle_segv=0:a<wbr>llow_user_segv_handler=1 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK0 || \<br>
 // RUN: %env_tool_opts=handle_segv=0:a<wbr>llow_user_segv_handler=1 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK0<br>
+// RUN: %env_tool_opts=handle_segv=1:a<wbr>llow_user_segv_handler=1 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK1 || \<br>
+// RUN: %env_tool_opts=handle_segv=1:a<wbr>llow_user_segv_handler=1 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK1 || \<br>
 // RUN: %env_tool_opts=handle_segv=1:a<wbr>llow_user_segv_handler=1 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK1<br>
+// RUN: %env_tool_opts=handle_segv=2:a<wbr>llow_user_segv_handler=1 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK2 || \<br>
+// RUN: %env_tool_opts=handle_segv=2:a<wbr>llow_user_segv_handler=1 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK2 || \<br>
 // RUN: %env_tool_opts=handle_segv=2:a<wbr>llow_user_segv_handler=1 not %run %t 2>&1 | FileCheck %s --check-prefix=CHECK2<br>
 // clang-format on<br>
<br>
@@ -21,9 +39,6 @@<br>
 // XFAIL: msan<br>
 // XFAIL: tsan<br>
<br>
-// Flaky errors in debuggerd with "waitpid returned unexpected pid (0)" in logcat.<br>
-// UNSUPPORTED: android<br>
-<br>
 #include <signal.h><br>
 #include <stdio.h><br>
 #include <stdlib.h><br>
<br>
<br>
______________________________<wbr>_________________<br>
llvm-commits mailing list<br>
<a href="mailto:llvm-commits@lists.llvm.org" target="_blank">llvm-commits@lists.llvm.org</a><br>
<a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-commits" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/<wbr>mailman/listinfo/llvm-commits</a><br>
</blockquote></div>
</div></div><br>______________________________<wbr>_________________<br>
llvm-commits mailing list<br>
<a href="mailto:llvm-commits@lists.llvm.org" target="_blank">llvm-commits@lists.llvm.org</a><br>
<a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-commits" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/<wbr>mailman/listinfo/llvm-commits</a><br>
<br></blockquote></div><br></div>
</div></div><br>______________________________<wbr>_________________<br>
llvm-commits mailing list<br>
<a href="mailto:llvm-commits@lists.llvm.org">llvm-commits@lists.llvm.org</a><br>
<a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-commits" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/<wbr>mailman/listinfo/llvm-commits</a><br>
<br></blockquote></div><br></div>