<div dir="ltr"><br><br><div class="gmail_quote"><div dir="ltr">On Sun, Sep 11, 2016 at 10:24 PM Dean Michael Berris <<a href="mailto:dean.berris@gmail.com">dean.berris@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br class="gmail_msg">
> On 10 Sep 2016, at 02:05, David Blaikie <<a href="mailto:dblaikie@gmail.com" class="gmail_msg" target="_blank">dblaikie@gmail.com</a>> wrote:<br class="gmail_msg">
><br class="gmail_msg">
><br class="gmail_msg">
><br class="gmail_msg">
> On Thu, Sep 8, 2016 at 11:34 PM Dean Michael Berris <<a href="mailto:dean.berris@gmail.com" class="gmail_msg" target="_blank">dean.berris@gmail.com</a>> wrote:<br class="gmail_msg">
><br class="gmail_msg">
> > On 9 Sep 2016, at 12:35, Dean Michael Berris <<a href="mailto:dean.berris@gmail.com" class="gmail_msg" target="_blank">dean.berris@gmail.com</a>> wrote:<br class="gmail_msg">
> ><br class="gmail_msg">
> ><br class="gmail_msg">
> ><br class="gmail_msg">
> >> On 7 Sep 2016, at 01:21, David Blaikie <<a href="mailto:dblaikie@gmail.com" class="gmail_msg" target="_blank">dblaikie@gmail.com</a>> wrote:<br class="gmail_msg">
> >><br class="gmail_msg">
> >> But I take it you mean (as detailed later) to have a separate format (could be a portable binary format, but currently discussing it as JSON/YAML/etc) that things are converted from that makes them portable?<br class="gmail_msg">
> >><br class="gmail_msg">
><br class="gmail_msg">
> One thing worth mentioning on this regard is maybe we can use Flatbuffers (<a href="https://google.github.io/flatbuffers/" rel="noreferrer" class="gmail_msg" target="_blank">https://google.github.io/flatbuffers/</a>) for the XRay log.<br class="gmail_msg">
><br class="gmail_msg">
> For the secondary form (instead of YAML/JSON) or the primary form (the thing compiler-rt writes out)? Or as a form that would cover both use cases without the need to convert from one format to another?<br class="gmail_msg">
><br class="gmail_msg">
<br class="gmail_msg">
The primary form -- I suspect the costs here would be acceptable it if it means that we're able to write it once in a single format and make that automatically be durable and portable. I suspect the bit swizzling is going to be dwarfed by the cost of writing to stable media anyway that it could be worth it.<br class="gmail_msg">
<br class="gmail_msg">
Now this is still to be measured, but according to the benchmarks (<a href="https://google.github.io/flatbuffers/flatbuffers_benchmarks.html" rel="noreferrer" class="gmail_msg" target="_blank">https://google.github.io/flatbuffers/flatbuffers_benchmarks.html</a>) encoding 1M times takes just 3.2 seconds -- ~3 microseconds each, right in the acceptable range of performance for I/O.<br class="gmail_msg">
<br class="gmail_msg">
This allows us to write the tool to just deal with flat buffers that just works across platforms.<br class="gmail_msg">
<br class="gmail_msg">
Does that make sense?<br class="gmail_msg"></blockquote><div><br></div><div>Yep. sounds good - though I assume you want to make progress in the interim before any decision on flatbuffers is made?</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br class="gmail_msg">
-- Dean<br class="gmail_msg">
<br class="gmail_msg">
</blockquote></div></div>