<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jan 19, 2016 at 6:34 AM, Kristof Beyls via llvm-commits <span dir="ltr"><<a href="mailto:llvm-commits@lists.llvm.org" target="_blank">llvm-commits@lists.llvm.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">kristof.beyls created this revision.<br>
kristof.beyls added a reviewer: cmatthews.<br>
kristof.beyls added a subscriber: llvm-commits.<br>
<br>
We've found it useful to have a table on the daily report page which reports for each<br>
machine how many tests were seen on a given day. It has helped us to quickly notice<br>
when a certain machine started producing fewer test/benchmark results for some reason.<br>
<br>
AFAIK, there isn't another way to quickly notice if a particular machine starts producing<br>
fewer-than-expected benchmark results.<br></blockquote><div><br></div><div>I imagine this metric would be confused if there was a day with relatively few commits, no? (in that case you wouldn't need to run benchmarks because you'd be up to date)<br><br>Perhaps a better/alternative metric would be "commits per benchmark run"? (this has the opposite effect sometimes, of course - if commit rate spikes it'll look like the bot slowed down - so perhaps some metric about commit rate?) This would help catch the underlying concern (or what I assume is the underlying concern) - when data is insufficiently granular for good analysis.<br><br>(another alternative might be time taken for a report - this will fluctuate if many new tests are added to the repository, but would otherwise be independent of commit rate (either too high, or too low))</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<a href="http://reviews.llvm.org/D16318" rel="noreferrer" target="_blank">http://reviews.llvm.org/D16318</a><br>
<br>
Files:<br>
  lnt/server/reporting/analysis.py<br>
  lnt/server/reporting/dailyreport.py<br>
  lnt/server/ui/templates/reporting/daily_report.html<br>
  tests/server/ui/V4Pages.py<br>
<br>
<br>_______________________________________________<br>
llvm-commits mailing list<br>
<a href="mailto:llvm-commits@lists.llvm.org">llvm-commits@lists.llvm.org</a><br>
<a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-commits" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-commits</a><br>
<br></blockquote></div><br></div></div>