<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Wed, May 6, 2015 at 8:28 AM, Renato Golin <span dir="ltr"><<a href="mailto:renato.golin@linaro.org" target="_blank">renato.golin@linaro.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Folks,<br>
<br>
I was looking at LCOV (<a href="http://llvm.org/reports/coverage/" target="_blank">http://llvm.org/reports/coverage/</a>) and it's<br>
nice and all, but it doesn't have much information about which commit<br>
is that and the difference between two commits. We could then have a<br>
that report for every buildbot (check-all, test-suite, etc) for the<br>
patches specific to the build, per architecture. How easy would be to<br>
do that for any given buildbot?<br>
<br>
Another potential project would be to get on a specific architecture,<br>
patch by patch, and check how many of the *changed* lines are touched<br>
by the current tests, including the ones added, for say check-all.<br>
Since we hope to have good coverage on check-all, this should be a<br>
good indication of how well tested is each patch, and could give us an<br>
*additional* measure of quality.<br></blockquote><div><br>I'd love to have this. It's tiresome manually looking at patches/tests to see if the error cases have been exercised, etc.<br><br>(of course all coverage based test quality assessment falls into the trap of "exercised but not verified" which is why I'd also love the mutation testing support that's been discussed on-list recently (possibly with the domain restricted to the changed/added lines in the patch for a fast pass, then a longer running pass that might catch knock-on effects elsewhere in the code))<br><br>This might also wrap back around to the idea of running all the target-independent regression tests against all compiled targets. (currently we run them against the host target, but there's no reason we can't run them on another host against any target we've built support for)<br> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Would anyone be interested in taking those projects? Shall I add them<br>
to the list of ideas in <a href="http://llvm.org/OpenProjects.html" target="_blank">http://llvm.org/OpenProjects.html</a>?<br></blockquote><div><br>Seems reasonable.<br> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
cheers,<br>
--renato<br>
_______________________________________________<br>
LLVM Developers mailing list<br>
<a href="mailto:LLVMdev@cs.uiuc.edu">LLVMdev@cs.uiuc.edu</a>         <a href="http://llvm.cs.uiuc.edu" target="_blank">http://llvm.cs.uiuc.edu</a><br>
<a href="http://lists.cs.uiuc.edu/mailman/listinfo/llvmdev" target="_blank">http://lists.cs.uiuc.edu/mailman/listinfo/llvmdev</a><br>
</blockquote></div><br></div></div>