<div dir="ltr">On 8 August 2013 21:55, Chris Matthews <span dir="ltr"><<a href="mailto:chris.matthews@apple.com" target="_blank">chris.matthews@apple.com</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote">
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div style="word-wrap:break-word">This is the first of several patches to refactor the LNT nt test, to make it more amenable to single test reruns. <div>
<br></div><div>This patch extracts common configuration options into a separate stateless object so that they can be accessed again for rerunning.  Common functionality from the run is also extracted so that it can be run more than once.</div>
</div></blockquote><div><br></div><div>Hi Chris,</div><div><br></div><div>My Python skills are seriously lacking, so I'll only comment on the description of the functionality.</div><div><br></div><div>Is the idea to save this context with with the runs themselves, so that you can de-serialize it back to object and run "the same configuration" back again? I'm assuming you're controlling everything on the LLVM side, but not so much on the system side (library and platform compiler versions, architecture, etc).</div>
<div><br></div><div>In the case you could save the system information, maybe you could warn the user that something had changed, but you can't install/change it yourself.</div><div><br></div><div>For instance, if the users tries to compare runs A and B, both on x86_64+Linux, but A has a different glibc version than B, you could warn saying that some results might be different due to library version mismatch.</div>
<div><br></div><div>Another usage would be to compare the relative performance difference between two different architectures from the same change in library. <br></div><div><br></div><div>So, if in the first case you found a difference in x86_64, but got a warning due to libraries, you can go and check other architectures that had the same library change, to see if there was the same relative difference in performance *just* due to library change.</div>
<div><br></div><div>cheers,</div><div>--renato</div></div></div></div>