<div dir="ltr">

<p class="MsoNormal">Hi Rafael,</p>

<p class="MsoNormal"> </p>

<p class="MsoNormal">This definitely looks like a good proposal from our team’s
point of view. We would find it particularly useful if any script you write is
something that we could use internally, but for that to work, we would need a
few things from it, some or all of which I hope would be more widely useful:</p>



<p class="gmail-MsoListParagraph"><span><span>1)<span style="font:7pt "Times New Roman"">     
</span></span></span>We use Windows, so it would be important for us
for this to run on Windows as well as Linux. If it’s just a python script doing
the running, I imagine that this would come more or less for free, but it’s
worth keeping in mind.</p>

<p class="gmail-MsoListParagraph"><span><span>2)<span style="font:7pt "Times New Roman"">     
</span></span></span>We would find it useful if there were hooks we could
easily configure to do various environment setup/tear-down steps. Perhaps this
could be achieved by adding the ability to specify a wrapper process that in
turn runs some specified link-line after/before doing some work itself such as
configuring process priorities etc.</p>

<p class="gmail-MsoListParagraph"><span><span>3)<span style="font:7pt "Times New Roman"">      </span></span></span>Finally, it would be really useful to support implied or externally-imposed variants for tests, where each variant runs the test from a distinct location. This would allow us to run each case from an HDD, SSD, and from RAM. RAM's good for reducing noise, but we have also found it useful to have some real-world numbers available.</p>



<p class="MsoNormal">I also noticed that you didn’t mention measuring memory
usage anywhere. I assume that this is something that you’d be measuring as well?</p>

<p class="MsoNormal"> </p>

<p class="MsoNormal">James</p>

</div><div class="gmail_extra"><br><div class="gmail_quote">On 1 November 2017 at 16:53, Rafael Espíndola <span dir="ltr"><<a href="mailto:rafael.espindola@gmail.com" target="_blank">rafael.espindola@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">> This sounds good from the LNT side. Indeed you should be good to go with the<br>
> default 'nts' schema. And just submit to the server.<br>
<br>
</span>It seems possible, but also a bit hackish as the "linking time" would<br>
be reported as "compile time". It would also be nice to be able to<br>
store the other metrics reported by perf. Since we get them for free<br>
and storage requirements are very small.<br>
<br>
I have created a "link" schema for running the experiments locally.<br>
Would it be possible to add it to <a href="http://lnt.llvm.org" rel="noreferrer" target="_blank">lnt.llvm.org</a>? My script is still<br>
adding versions, but what it produced over night already shows the<br>
value of having something like it running in a bot (see attached<br>
graph).<br>
<span class=""><br>
> For reference this how a submission can look in python (you have to wrap the<br>
> data in one more level of records with the 'input_data' thing).<br>
> You should be able to just submit away to<br>
<br>
</span>I have created a script that given a directory with linker benchmarks<br>
and a linker binary will run all benchmarks and send the result to<br>
lnt. I will send that for review. After that all that is needed is<br>
figuring out how to add the schema and to set up a bot to do it for<br>
every revision.<br>
<br>
Thanks,<br>
Rafael<br>
</blockquote></div><br></div>