<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Feb 9, 2016 at 5:44 PM, David Blaikie <span dir="ltr"><<a href="mailto:dblaikie@gmail.com" target="_blank">dblaikie@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span class="">On Tue, Feb 9, 2016 at 5:38 PM, Alexey Samsonov <span dir="ltr"><<a href="mailto:vonosmas@gmail.com" target="_blank">vonosmas@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><br><div class="gmail_quote"><span>On Tue, Feb 9, 2016 at 5:09 PM, David Blaikie <span dir="ltr"><<a href="mailto:dblaikie@gmail.com" target="_blank">dblaikie@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span>On Tue, Feb 9, 2016 at 5:06 PM, Alexey Samsonov <span dir="ltr"><<a href="mailto:vonosmas@gmail.com" target="_blank">vonosmas@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><br><div class="gmail_quote"><span>On Mon, Feb 8, 2016 at 11:08 AM, David Blaikie <span dir="ltr"><<a href="mailto:dblaikie@gmail.com" target="_blank">dblaikie@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span>On Mon, Feb 8, 2016 at 10:54 AM, Xinliang David Li via llvm-commits <span dir="ltr"><<a href="mailto:llvm-commits@lists.llvm.org" target="_blank">llvm-commits@lists.llvm.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><span>On Mon, Feb 8, 2016 at 10:46 AM, Vedant Kumar <<a href="mailto:vsk@apple.com" target="_blank">vsk@apple.com</a>> wrote:<br>
> Could this be merged with the test in r260021?<br>
<br>
</span>In theory 260021 can be merged into this one ( end-to-end test)</blockquote><div><br></div></span><div>We don't generally do end-to-end tests in the LIT repo. I realize compiler-rt is a bit different, but I think this general attitude still holds.<br><br>Alexey (for want of any better person to consult - feel free to punt/CC others): what's the general philosophy on tests that go into compiler-rt's lit suite?</div></div></div></div></blockquote><div><br></div></span><div>compiler-rt lit test suite is tailored to running "end-to-end" tests: using just-built Clang to build an executable, run this executable,</div><div>and inspect its output somehow (via FileCheck, or other tools).</div></div></div></div></blockquote><div><br></div></span><div>Right - but I'm wondering what sort of things do you generally test end-to-end in compiler-rt.<br><br>Take this change, for example - that adds profiling counters to another case in Clang. The IR looks identical to any other function with counters, so it's not adding more IR diversity to the coverage.<br><br>I'm just not sure how much end-to-end testing you generally do in compiler-rt's test suite, how the tradeoffs look compared to more targeted testing in Clang or LLVM, etc.<br></div></div></div></div></blockquote><div><br></div></span><div>Right... I don't know much about profile test suite, or how much coverage / what features owners want to test there, </div></div></div></div></blockquote><div><br></div></span><div>I was curious about the precedent here in the way of other/prior uses of compiler-rt such as the sanitizers to learn from existing experience, community norms, etc. My assumption was that we don't really test everything end-to-end, at least as far as I recall seeing patches to sanitizers and compiler-rt, but quite possibly I've misunderstood the uses here.</div><span class=""><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div>but from a quick glance these test cases seem reasonable:</div><div>we check that clang -> llvm-profdata -> llvm_cov pipeline works as expected for defaulted functions. We're not checking for IR, or implementation details here, which is IMO</div><div>nicer that Clang- or LLVM-specific test case. Still, test case in Clang test suite is nice to have as well, because it would work on virtually all targets, preventing people from breaking</div><div>this code accidentally if they're building on Mac OS w/o compiler-rt checkout.</div></div></div></div></blockquote><div><br></div></span><div>Right, my main worry/thought is that these tests seem mostly redundant except fort he frontend part - I would've expected a representative sample to be tested end-to-end (each different kind of counter, for example) but I'm surprised if the norm is to test end-to-end any change that's made along the pipeline.</div></div></div></div></blockquote><div><br></div><div>Oh, OK. No, we don't have a guideline that every change along the pipeline should be covered by end-to-end test, it's mostly on case-by-case basis. So, if the lit test doesn't cover any interesting new behavior then it can be considered as redundant, given the existence of frontend-only test. However, I'll leave that to <span style="font-size:12.8px">davidxl.</span></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div><span class=""><font color="#888888"><br><br>- David</font></span></div><div><div class="h5"><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div><div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div><br>Thanks,<br>- Dave</div><div><div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div><div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div><div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"> -- but<br>
I think it is better to keep them separate as they are in different<br>
repos.  I will clean up the test as you suggested else where.<br>
<span><br>
><br>
> Is this a Linux-specific test?<br>
<br>
</span>It should not be. It is just I don't have a good way to test on other<br>
platforms yet.<br>
<span><font color="#888888"><br>
David<br>
</font></span><div><div>><br>
> vedant<br>
><br>
>> On Feb 7, 2016, at 8:31 AM, Xinliang David Li via llvm-commits <<a href="mailto:llvm-commits@lists.llvm.org" target="_blank">llvm-commits@lists.llvm.org</a>> wrote:<br>
>><br>
>> Author: davidxl<br>
>> Date: Sun Feb  7 10:31:13 2016<br>
>> New Revision: 260041<br>
>><br>
>> URL: <a href="http://llvm.org/viewvc/llvm-project?rev=260041&view=rev" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-project?rev=260041&view=rev</a><br>
>> Log:<br>
>> Add coverage tests (defaulted constructors/destructor)<br>
>><br>
>> Added:<br>
>>    compiler-rt/trunk/test/profile/Linux/coverage_ctors.cpp<br>
>>    compiler-rt/trunk/test/profile/Linux/coverage_dtor.cpp<br>
>><br>
>> Added: compiler-rt/trunk/test/profile/Linux/coverage_ctors.cpp<br>
>> URL: <a href="http://llvm.org/viewvc/llvm-project/compiler-rt/trunk/test/profile/Linux/coverage_ctors.cpp?rev=260041&view=auto" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-project/compiler-rt/trunk/test/profile/Linux/coverage_ctors.cpp?rev=260041&view=auto</a><br>
>> ==============================================================================<br>
>> --- compiler-rt/trunk/test/profile/Linux/coverage_ctors.cpp (added)<br>
>> +++ compiler-rt/trunk/test/profile/Linux/coverage_ctors.cpp Sun Feb  7 10:31:13 2016<br>
>> @@ -0,0 +1,33 @@<br>
>> +// RUN: %clang_profgen -x c++  -std=c++11 -fuse-ld=gold -fcoverage-mapping -o %t %s<br>
>> +// RUN: env LLVM_PROFILE_FILE=%t.profraw %run %t<br>
>> +// RUN: llvm-profdata merge -o %t.profdata %t.profraw<br>
>> +// RUN: llvm-cov show %t -instr-profile %t.profdata -filename-equivalence 2>&1 | FileCheck %s<br>
>> +<br>
>> +struct Base {<br>
>> +  int B;<br>
>> +  Base() : B(2) {}<br>
>> +  Base(const struct Base &b2) {<br>
>> +    if (b2.B == 0) {<br>
>> +      B = b2.B + 1;<br>
>> +    } else<br>
>> +      B = b2.B;<br>
>> +  }<br>
>> +};<br>
>> +<br>
>> +struct Derived : public Base {<br>
>> +  Derived(const Derived &) = default; // CHECK:  2| [[@LINE]]|  Derived<br>
>> +  Derived() = default;                // CHECK:  1| [[@LINE]]|  Derived<br>
>> +  int I;<br>
>> +  int J;<br>
>> +  int getI() { return I; }<br>
>> +};<br>
>> +<br>
>> +Derived dd;<br>
>> +int g;<br>
>> +int main() {<br>
>> +  Derived dd2(dd);<br>
>> +  Derived dd3(dd);<br>
>> +<br>
>> +  g = dd2.getI() + dd3.getI();<br>
>> +  return 0;<br>
>> +}<br>
>><br>
>> Added: compiler-rt/trunk/test/profile/Linux/coverage_dtor.cpp<br>
>> URL: <a href="http://llvm.org/viewvc/llvm-project/compiler-rt/trunk/test/profile/Linux/coverage_dtor.cpp?rev=260041&view=auto" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-project/compiler-rt/trunk/test/profile/Linux/coverage_dtor.cpp?rev=260041&view=auto</a><br>
>> ==============================================================================<br>
>> --- compiler-rt/trunk/test/profile/Linux/coverage_dtor.cpp (added)<br>
>> +++ compiler-rt/trunk/test/profile/Linux/coverage_dtor.cpp Sun Feb  7 10:31:13 2016<br>
>> @@ -0,0 +1,26 @@<br>
>> +// RUN: %clang -x c++ -fno-exceptions  -std=c++11 -fuse-ld=gold -fprofile-instr-generate -fcoverage-mapping -o %t %s<br>
>> +// RUN: env LLVM_PROFILE_FILE=%t.profraw %run %t<br>
>> +// RUN: llvm-profdata merge -o %t.profdata %t.profraw<br>
>> +// RUN: llvm-cov show %t -instr-profile %t.profdata -filename-equivalence 2>&1 | FileCheck %s<br>
>> +<br>
>> +struct Base {<br>
>> +  int B;<br>
>> +  Base(int B_) : B(B_) {}<br>
>> +  ~Base() {}<br>
>> +};<br>
>> +<br>
>> +struct Derived : public Base {<br>
>> +  Derived(int K) : Base(K), I(K), J(K) {}<br>
>> +  ~Derived() = default; // CHECK:  2| [[@LINE]]|  ~Derived<br>
>> +  int I;<br>
>> +  int J;<br>
>> +  int getI() { return I; }<br>
>> +};<br>
>> +<br>
>> +int g;<br>
>> +int main() {<br>
>> +  Derived dd(10);<br>
>> +  Derived dd2(120);<br>
>> +  g = dd2.getI() + dd.getI();<br>
>> +  return 0;<br>
>> +}<br>
>><br>
>><br>
>> _______________________________________________<br>
>> llvm-commits mailing list<br>
>> <a href="mailto:llvm-commits@lists.llvm.org" target="_blank">llvm-commits@lists.llvm.org</a><br>
>> <a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-commits" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-commits</a><br>
><br>
_______________________________________________<br>
llvm-commits mailing list<br>
<a href="mailto:llvm-commits@lists.llvm.org" target="_blank">llvm-commits@lists.llvm.org</a><br>
<a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-commits" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-commits</a><br>
</div></div></blockquote></div></div></div><br></div></div>
</blockquote></div></div></div><span><font color="#888888"><br><br clear="all"><div><br></div>-- <br><div><div dir="ltr">Alexey Samsonov<br><a href="mailto:vonosmas@gmail.com" target="_blank">vonosmas@gmail.com</a></div></div>
</font></span></div></div>
</blockquote></div></div></div><br></div></div>
</blockquote></div></div></div><span><font color="#888888"><br><br clear="all"><div><br></div>-- <br><div><div dir="ltr">Alexey Samsonov<br><a href="mailto:vonosmas@gmail.com" target="_blank">vonosmas@gmail.com</a></div></div>
</font></span></div></div>
</blockquote></div></div></div><br></div></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">Alexey Samsonov<br><a href="mailto:vonosmas@gmail.com" target="_blank">vonosmas@gmail.com</a></div></div>
</div></div>