<div dir="ltr">Yes, I agree. And as I mentioned, one can figure it out by manually reproducing some measurements. It's just that it leaves you wondering "is there some other dir that uses something different?" if nobody tells you<div>about it. Ok, good, I'll try to add some documentation on that.</div><div><br></div><div>By the way, does lit have any flags to set core affinity? Currently, I have modified `timeit.sh` to use `taskset` as in: `taskset --cpu-list 2,4,6 perf stat ...`</div><div>It seems reliable, although I'd like to find a way to actually test the reliability. But, if lit has an option already, I could use that.</div><div><br></div><div>Best,</div><div>Stefanos</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Στις Τρί, 20 Ιουλ 2021 στις 1:25 π.μ., ο/η Michael Kruse <<a href="mailto:llvmdev@meinersbur.de" target="_blank">llvmdev@meinersbur.de</a>> έγραψε:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Am Mo., 19. Juli 2021 um 14:47 Uhr schrieb Stefanos Baziotis<br>
<<a href="mailto:stefanos.baziotis@gmail.com" target="_blank">stefanos.baziotis@gmail.com</a>>:<br>
> For example, the only reason that it seems that MultiSource/ use<br>
> seconds is just because I ran a bunch of them manually (and because<br>
> some outputs saved by llvm-lit, which measure in seconds, match<br>
> the numbers on JSON).<br>
><br>
> If we know the unit of time per test case (or per X grouping of tests<br>
> for that matter), we could then, e.g., normalize the times, as you<br>
> suggest, or anyway, know the unit of time and act accordingly.<br>
<br>
You know the unit of time from the top-level folder. MicroBenchmarks<br>
is microseconds (because Google Benchmark reports microseconds),<br>
everything is seconds.<br>
<br>
That might be confusing when you don't know about it, but if you do<br>
you there is no ambiguity.<br>
<br>
Michael<br>
</blockquote></div>