<div dir="ltr"><div><div><div>Hi!<br><br></div>I do like the idea of having a target for this but I would not make it part of the make check target. I think it would be a measurable overhead for the runtime of the tests and I am also not sure that we can/want to make that target clean. Maybe in some cases, the return on investment would be too low and we simply have other priorities or the side effect. <br><br></div>Regards,<br></div>Gábor<br></div><div class="gmail_extra"><br><div class="gmail_quote">On 18 January 2018 at 13:59, Ilya Palachev <span dir="ltr"><<a href="mailto:i.palachev@samsung.com" target="_blank">i.palachev@samsung.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi,<br>
<br>
There is an idea for CSA testing. Currently each checker has it own test file(s) on which it is tested. Each checker has its own development history, and many of them were tested on code bases highly different from each other. That's why one checker may crash (i.e. produce assertion fail or UNREACHABLE) for code base on which it was never tested.<br>
<br>
We tried to launch all checkers on all tests, by replacing `-verify' flags with `-analyzer-checker=<list of all packages>' through the lit.local.cfg (using config.substitutions.append method). A lot of crashes are obtained on our version of CSA (which is somehow different from upstream, however).<br>
<br>
Moreover, we even tried Sema/SemaCXX tests and obtained several more crashes. Test files usually describe some corner cases, so this method will allow to test the analyzer on them.<br>
<br>
I believe that such testing mode can be useful to improve the analyzer stability. Does anybody have any ideas, would it be appropriate? Should we add this mode to the default make check, or create a separate target for it?<br>
<br>
--<br>
Best regards,<br>
Ilya Palachev<br>
<br>
<br>
<br>
<br>
<br>
<br>
</blockquote></div><br></div>