<div dir="ltr">Hi Renato,<div><br></div><div>What is it that makes the output of the program asynchronous? The output is deterministic on Darwin, so it seems like it should be possible to make it more stable. </div><div><br>
</div><div>I'm not really a fan of doing any more transformations on the output than we have to, because it just pushes complexity into the test suite infrastructure.</div><div><br></div><div style> - Daniel</div><div style>
<br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Apr 2, 2013 at 10:05 AM, Renato Golin <span dir="ltr"><<a href="mailto:renato.golin@linaro.org" target="_blank">renato.golin@linaro.org</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi all,<div><br></div><div>Looking into ClamAV, it seems that the output is highly asynchronous, so a simple diff is obviously bogus. Since the output is mainly a report of what's happening, without any logical sequence, I can sort both outputs and diff them, for a similar (though not perfect) result. If you sort clamscan.out-nat and clamscan.out-simple, you'll see that they're identical.</div>

<div><br></div><div>I'm not sure if there is an option to run the program in sequential mode (if there is, the test will pass), but if not, the simplest way to fix the diff is to sort the reference_output and the program's output on execution.</div>

<div><br></div><div>Adding "| sort" to the RUN_OPTIONS didn't have the desired effect (that was a long shot, anyway), does anyone know of a way to sort the output of a program on those Makefiles? Maybe a rule that can be intermediary of the final rule (I'm guessing $PROGRAM) that I can add a few steps before the diff?</div>

<div><br></div><div>cheers,</div><div>--renato</div></div>
</blockquote></div><br></div>