<div style="line-height:1.7;color:#000000;font-size:14px;font-family:arial">Hi all,<div><span style="line-height: 1.7;"><br></span></div><div><span style="line-height: 1.7;">When we compare two testings, each of which is run with three samples, how would LNT show whether the comparison is reliable or not? </span></div><div><span style="line-height: 1.7;"><br></span></div><div><span style="line-height: 1.7;">I have seen that the function </span><span style="line-height: 1.7; white-space: pre-wrap;">get_value_status in </span><span style="line-height: 1.7; white-space: pre-wrap;">reporting/analysis.py uses a very simple algorithm to infer data status. For example, if </span><span style="white-space: pre-wrap;">abs(self.delta) <= (self.stddev * confidence_interval), then the data status is set as UNCHANGED.  </span><span style="line-height: 1.7; white-space: pre-wrap;">However, it is </span><span style="line-height: 1.7; white-space: pre-wrap;">obviously<!
 /span><span style="line-height: 1.7; white-space: pre-wrap;"> not enough. For example, assuming</span><span style="line-height: 1.7; white-space: pre-wrap;"> </span><span style="line-height: 1.7; white-space: pre-wrap;"> both </span><span style="line-height: 1.7; white-space: pre-wrap;">self.delta (e.g. 60%) and self.stddev (e.g.  50%) are huge, but self.delta is slightly larger than self.stddev, LNT will report to readers that the performance improvement is huge without considering the huge stddev. I think one way is to normalize the performance improvements by considering the stddev, but I am not sure whether it has been implemented in LNT.</span></div><div><span style="line-height: 1.7; white-space: pre-wrap;"><br></span></div><div><span style="line-height: 1.7; white-space: pre-wrap;">Could anyone give some suggestions that how can I find out whether the testing results are reliable in LNT? Specifically, how can I get the normalized performance improvement/regression by!
  considering the stderr?</span></div><div><span style="line-height: 1.
7; white-space: pre-wrap;"><br></span></div><div><span style="line-height: 1.7; white-space: pre-wrap;">Best wishes,</span></div><div><span style="white-space: pre-wrap;">Star Tan.</span></div><div><span style="line-height: 1.7; white-space: pre-wrap;"><br></span></div></div>