<div dir="ltr"><br><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Jul 31, 2014 at 12:59 PM, Duncan P. N. Exon Smith <span dir="ltr"><<a href="mailto:dexonsmith@apple.com" target="_blank">dexonsmith@apple.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class=""><br>
> On 2014-Jul-31, at 11:39, Sean Silva <<a href="mailto:chisophugis@gmail.com">chisophugis@gmail.com</a>> wrote:<br>
><br>
> Ok, I guess that's not a problem. I guess it's sort of weird to see an option like -num-shuffles being used like this. Why not just test 1 shuffle? or 10? Testing 5 "random" shuffles just so that it tests the same 5 shuffles every time doesn't seem very productive. If it's going to test 5 deterministic shuffles then it should at least check 5 specific shuffles like reverse, pipe organ, interleave, etc.<br>

<br>
</div>A given use-list isn't guaranteed to be changed.  Shuffling more times<br>
makes it more likely use-lists get changed.<br>
<div class=""><br>
> At the very least, the number "5" should not be on every RUN line if it is just some arbitrary default number of shuffles to try and has no reason to vary from test to test.<br>
<br>
</div>Larger testcases should shuffle more times, so that it's statistically<br>
likely that every use-list actually gets changed at least once.<br></blockquote><div><br></div><div>Why not just change it so that it ensures that every use list is changed? E.g. reject identity permutations. It seems silly to use a policy of "try multiple times and hope that a non-identetity permutation comes out".</div>
<div><br></div><div>-- Sean Silva</div><div> <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
However, 1 is a pretty bad default (since every other 2-element list<br>
won't et changed).  Since all the testcases are pretty small, I've<br>
changed the default to 5 in r214419.<br>
<div class=""><br>
> This would be great to add to the top-of-file comment in the .cpp file.<br>
<br>
</div>Also r214419.<br>
</blockquote></div><br></div></div>