<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">

</head>

<body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">

Hi Tobias,

<div class=""><br class="">

</div>

<div class="">The metrics that you can collect in LNT are fixed per "test suite".</div>

<div class="">There are 2 such "test suite"s defined in LNT at the moment: nts and compile.</div>

<div class="">For more details on this, see <a href="http://llvm.org/docs/lnt/concepts.html#test-suites" class="">http://llvm.org/docs/lnt/concepts.html#test-suites</a>.</div>

<div class=""><br class="">

</div>

<div class="">AFAIK, If you need to collect different metrics, you'll need to define a new "test suite". I'm afraid I don't really know what is needed for that.</div>

<div class="">I'm guessing you may need to write some LNT code to do so, but I'm not sure. Hopefully Matthias or Chris will be able to explain how to do that.</div>

<div class=""><br class="">

</div>

<div class="">We probably should investigate how to make it easier to define new "test-suite"s more easily. Or at least make it easier to record different sets of metrics more easily, without having to change the LNT code or a running LNT server instance.</div>

<div class="">The question on recording a different set of metrics has come up on this list before, so it seems like it's an issue people do run into from time to time.</div>

<div class=""><br class="">

</div>

<div class="">Thanks,</div>

<div class=""><br class="">

</div>

<div class="">Kristof</div>

<div class=""><br class="">

</div>

<div class=""><br class="">

<div>

<blockquote type="cite" class="">

<div class="">On 4 Jul 2017, at 08:27, Tobias Grosser <<a href="mailto:tobias.grosser@inf.ethz.ch" class="">tobias.grosser@inf.ethz.ch</a>> wrote:</div>

<br class="Apple-interchange-newline">

<div class="">Dear all, <br class="">

<br class="">

I wanted to gather LLVM statistics with lnt and found a nice flag, but<br class="">

am unsure how such statistics can be made available in the LNT web<br class="">

interface.<br class="">

<br class="">

--cmake-define=TEST_SUITE_COLLECT_STATS=ON<br class="">

<br class="">

which allows me to gather all the LLVM "-stats" output. On top of this I<br class="">

see that the LNT cmake test-suite also dumps code-size statistics when<br class="">

running, that look as follows:<br class="">

<br class="">

size: 10848 <br class="">

size..bss: 48 <br class="">

size..comment: 218 <br class="">

size..ctors: 16 <br class="">

size..data: 4 <br class="">

size..dtors: 16 <br class="">

size..dynamic: 416 <br class="">

size..dynsym: 168 <br class="">

size..eh_frame: 172 <br class="">

size..eh_frame_hdr: 44 <br class="">

<br class="">

I can find all these statistics in a file called:<br class="">

<br class="">

/scratch/leone/grosser/base/sandbox/test-2017-07-04_06-14-43/outputTd2xPU.json<br class="">

<br class="">

but they do not appear in:<br class="">

<br class="">

/scratch/leone/grosser/base/sandbox/test-2017-07-04_06-14-43/report.json<br class="">

<br class="">

and in fact do not seem to be submitted to the LNT server.<br class="">

<br class="">

Matthias added support for TEST_SUITE_COLLECT_STATS a while ago, but I<br class="">

am unsure how it is expected to be used. A google search did not find<br class="">

any relevant documentation. Is anybody using this feature today?<br class="">

<br class="">

Best,<br class="">

Tobias<br class="">

</div>

</blockquote>

</div>

<br class="">

</div>

</body>

</html>