<div>Hi Alex,</div><div><br></div><div>Kirill is working on pulling google benchmark library into llvm and adding benchmarks to clangd. We are also mostly interested in code completion latency and index performance at this point. We don't have a very clear idea on how to create realistic benchmarks yet e.g. what code to use, what static index corpus to use. I wonder if you have ideas here.</div><div><br></div><div>Another option that might be worth considering is adding a tool that runs clangd code completion on some existing files in the llvm/clang codebase. It can potentially measure both code completion quality and latency.</div><div><br></div><div>-Eric</div><div><div class="gmail_quote"><div dir="ltr">On Tue, Aug 14, 2018, 00:53 Alex L via clangd-dev <<a href="mailto:clangd-dev@lists.llvm.org">clangd-dev@lists.llvm.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi,<div><br></div><div>I'm currently investigating and putting together a plan for open-source and internal performance tracking infrastructure for Clangd. </div><div><br></div><div>Initially we're interested in one particular metric:</div><div>- Code-completion latency</div><div><br></div><div>I would like to put together infrastructure that's based on LNT and that would identify performance regressions that arise as new commits come in. From the performance issues I've observed in our libclang stack the existing test-suite that exist in LLVM does not really reproduce the performance issues that we see in practice well enough. In my opinion we should create some sort of editor performance test-suite that would be unrelated to the test-suite that's used for compile time and performance tracking. WDYT?</div><div><br></div><div>I'm wondering if there are any other folks looking at this at the moment as well. If yes, I would like to figure out a way to collaborate on a solution that would satisfy all of our requirements. Please let me know if you have ideas in terms of how we should be running the tests /  what the test-suite should be, or what you needs are.</div><div><br></div><div>Thanks,</div><div>Alex</div></div>
_______________________________________________<br>
clangd-dev mailing list<br>
<a href="mailto:clangd-dev@lists.llvm.org" target="_blank">clangd-dev@lists.llvm.org</a><br>
<a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/clangd-dev" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/mailman/listinfo/clangd-dev</a><br>
</blockquote></div></div>