New Relicの最近の更新によりGrafanaのダッシュボードを維持したまま、New RelicのTelemetry Data Paltformをデータソースとして利用できるようになりました。さらにGrafana Labsとのパートナーシップも発表しています。そこで、両社のCEOによる対談の抄訳をお伝えします。
編集者注：このインタビューでは、New RelicのTelemetry Data Platformに最近追加されたPromQLスタイルのクエリのサポートについて言及しています。明確にしておきたいのは、PromQLスタイルのクエリをNRQLで最も近似したものに変換することでサポートしているということです。当社では、PromQLのサポートレベルを継続的に向上させていますが、言語間の翻訳によってクエリの結果が異なる場合があります。詳細については、サポートされている PromQL 機能を参照してください。
私はオープンソース信者です。オープンソースコミュニティとのコラボレーションは、開発者やエンジニアがデジタルシステムをよりよく理解するための最良の方法だと確信しています。そして、今回の発表にあるNew Relic-Grafana Labsのパートナーシップには、これ以上の興奮はありません。今回はNew RelicのCEOであるLew Cirne氏とGrafana LabsのCEOであるRaj Dutt氏にお話を伺い、開発者がどのようなことを期待しているのか、またパートナーシップからどのような恩恵を受けることができるのか、その詳細を探ってみました。
Joel Worrall : Rajさん、まず最初に、あなたとGrafana Labsチーム全員におめでとうといわせてください。Grafanaについてと、開発者がどのようにしてオープンソースプロジェクトに出会ったのか、少しお話いただけますか？
Raj Dutt :
Grafanaプロジェクトは、6年ほど前に共同創業者のTorkel Odegaardがストックホルムで立ち上げました。今では、観測データがどこにあるかに関わらず、すべての観測データをまとめるための最も人気のある可視化ソフトウェアに成長しました。Grafanaは、メトリクス、ログ、イベント、トレースなど、あらゆる観測データを一元化し、コンテキストに沿った形で表示する機能を備えています。また、Grafanaは全くデータベースに依存しないため、データがどこに存在していても、何が起こっているかを最高の状態で把握できると考えています。そして、オープンソースのGrafanaユーザー向けにNew Relicが提供されるようになったことは、非常に喜ばしいことです。
Joel : Lewさんは、素晴らしいソフトウェアを構築し、開発者にも同じようなことができるようにすることに非常に情熱を注いでいますね。最近New Relicが発表したオープンソースやプラットフォーム、価格モデルについて、Grafanaのようなツールを利用している開発者にどのような影響があるのか、少しお話いただけますか？
Lew Cirne :
まず第一に、Grafanaとのパートナーシップの強化です。これは、ここ数ヶ月で実施してきた重要な戦略の一環です。私たちはNew Relic Oneプラットフォームを再構築しましたが、その背景にある哲学は「シンプルさ」です。11の製品から3つの製品だけになりました。APMを開発した会社として信じられないかもしれませんが、もうNew RelicからAPMだけを購入することはできません。弊社の新たな3つの製品、Telemetry Data Platform（テレメトリーデータプラットフォーム）、Full-Stack Observability（フルスタック・オブザーバビリティ）、Applied Intelligence（アプライドインテリジェンス）から購入することができます。Full-Stack Observabilityには、APMの全機能に加えて、そのほかのモニタリング製品も全て含まれています。
Grafanaとのパートナーシップは、当社のTelemetry Data Platformを中心に展開しています。これは、すべてのメトリクス、イベント、ログ、トレースを、単一のクエリ言語で単一のデータベースに操作する、ペタバイト規模のワールドクラス Database as a Serviceだと考えてください。他のほとんどのデータベースは、例えばログやメトリクスのためだけに最適化されています。そのため、我々は多くのお客様から「ペタバイト規模のデータベースにすべてのデータを入れたい」という要望が届いていました。そして、我々がそのような大量のデータを管理する代わりに、誰か他の人に管理してもらいたいと思っています。
そして事実、当社のお客様はもちろんのこと多くのお客様がGrafanaを好んで利用しています。そのため、Telemetry Data Platformを製品にすることを決めたとき、Grafanaと相性が抜群でないといけないことはわかっていました。これを製品の主要な要件としました。そこで私たちは、Raj氏に連絡を取りました。Grafanaチームが、私たちが提供する統合がうまく機能すると感じるかを確認したかったのです。そして、いまこの統合が実現したことを嬉しく思っています。そして今週、Grafanaとのパートナーシップにより、この統合を発表できることを大変嬉しく思っています。
Joel : Rajさん、このパートナーシップが実際にGrafanaでの体験にどのような影響を与えているのか、少しお話いただけますか？また、New RelicのTelemetry Data Platformとの連携にはどのような機能があるのでしょうか？
Raj : Joelさん、大きく分けて2つのレベルがあります。オープンソースのGrafanaユーザーにとっては、New RelicがTelemetry Data PlatformでPromQLに似たクエリ言語をサポートしていることを大変喜ばしく思っています。Grafanaコミュニティ内では、Prometheusコミュニティが大きく成長しています。実際、Prometheusは現在、Grafanaユーザーの間で最も人気のあるメトリクスデータベースとなっています。また、Grafana Labsは、Prometheusプロジェクトの主要な貢献者の1つです。そのため、私たちはこのエコシステムに深く関わっています。
本質的には、New RelicはテレメトリーのバックエンドでPromQLをサポートしているため、Grafana Labsを含む、当社のバックエンドでPrometheusをネイティブにサポートしている企業の仲間入りをしたということになります。つまり、開発者は、特にKubernetesやクラウドネイティブのエコシステムの中で、Prometheusを選択したということです。私の考えでは、New Relicの今回の動きは、Prometheusが達成した驚異的な成長と人気の高さを如実に表していると考えています。GrafanaはPrometheusの事実上の可視化ソフトウェアです。このように、最もエキサイティングなことの一つは、New Relicもまた、Prometheusのバックエンドとして非常に優れたものであり、開発者がPrometheusのデータをどこに保存するかを選択できるようになっているということですね。もちろん、オープンソースのPrometheusを使い続けることもできますし、New Relicの新しいTelemetry Data Platformを使うこともできます。
Prometheusをネイティブにサポートしているオープンソースツールは他にもたくさんあります。例えば、Timescale、InfluxDB、その他のクラウドプロバイダーがPrometheusをサポートしています。Prometheusは事実上の標準となっていますし、New RelicもネイティブのPrometheusとなっているので、これはPrometheusコミュニティにとっても大きな意味があると思います。これは本当にエキサイティングなことです。
Joel : ちょっとしたコツをお話していただけますか？もし私が開発者としてPrometheusのメトリクスを収集しているとしたら、実際にはどのようにしてその情報をNew RelicのTelemetry Data Platformに取り込めばいいのでしょうか？いくつかの設定を行うだけで、そのデータの背後にNew Relicのパワーがあるのでしょうか？それとももっと複雑な作業が必要なのでしょうか？
Lew ： 非常にシンプルです。Rajさんが言ったことの繰り返しになりますが、私たちは『Prometheus』に好意的であり、ユビキタスであること、シンプルであることも気に入っています。すべてのKubernetesの一部であり、または事実上すべてのKubernetesにバンドルされていることを考えると、どこにでもあることは間違いありません。そこで私たちは、Prometheusを持っている人がイベント、ログ、トレースと一緒に中央の場所に持っていて、多くのPrometheusのインストールに渡って、ペタバイト規模で13ヶ月間保持できる、これらすべてを簡単にしたいと考えました。そして、2行のYAML設定でPrometheusのメトリクスをTelemetry Data Platformに転送することができ、他のすべてのデータと一緒に配置できるようにしました。
また、このプラットフォームを立ち上げたときに、このデータをどのように考えるかという新しい視点を持って立ち上げたことも重要です。開発者やエンジニアがを気にすることなく、できる限りのテレメトリデータを収集できるようにしたいのです。そこで、100GBのインジェストを無料で提供するというオファーでスタートしました。クエリの実行などの追加コストは一切かかりません。
そのため、データがPrometheusの中にあるのか、コピーがTelemetry Data Platformにあるのかを気にする必要がないように、シンプルで非常に費用対効果の高い価格設定になっています。データのコピーを持っているだけで、どのような環境でもデータを照会することができるというメリットを享受できます。Grafanaがこれらのクエリのフロントエンドになるというアイデアは非常に気に入っています。これらのクエリは、PromQLでも、ネイティブのNRQLでも、お客様にとって最も快適な方法で記述することができます。
Joel : オブザーバビリティ（可観測性）の成長について、お二人に質問があります。私たちは皆、良いソフトウェアを構築するための中心的な仕事に携わっています。しかし、オブザーバビリティは確実に成長しています。今のところ、ソース管理のようなユビキタスなものではありません。そこでお二人にお聞きしたいのですが、この分野をリードしている人として、開発者にとって第一級のツールであるべきものとして、コードのオブザーバビリティの考え方を広めるために、私たちはどのような役割を果たしているとお考えですか？まず第一に、それを促進するために私たちは何をしているのでしょうか？次に、他に何かできることはないでしょうか？
Lew : Grafanaは、その核となる要素がオープンソースでなければならないということで、その道を本当にリードしてきたと思います。オブザーバビリティや何かを開発者の間でユビキタスなものにするためには、強力なオープンソースのストーリーが必要です。これには、ソースコード管理やGitの台頭などが含まれます。だからこそ、私たちはすべてのエージェントを完全にオープンソース化しています。10年前には考えられなかったことですが、エージェントは王冠を飾る技術と考えられていました。今では全てのエージェントを オープンソース化していますそしてすでに、オープンソース化してから数時間以内に、エージェントをさらに良くするためのPRを受けました。また、GrafanaやPrometheusのような主要なオープンソースプロジェクトや技術を全面的に採用し、オブザーバビリティを必要に応じてユビキタスなものにしていきたいと考えています。
もう一つは、ユビキタスオブザーバビリティの第二の障壁であるコストを取り除くことです。数週間前に発表したものの前は、少なくとも商用ベンダーからオブザーバビリティを得る方法は、ホストごとに支払っていました。実運用で展開するホストごとに、そのホストに税金を支払っていました。ホストの数が2倍になれば、オブザーバビリティの請求額も2倍になります。それは正しくないと感じました。我々の顧客はそのデータを必要としていますが、そのデータはそのようなプレミアム価格で販売されるべきではありません。
だからこそ、私たちのプラットフォームを費用対効果の高いものにしたいと考えています。実際、私たちが提供する規模で、もし私たちがそうしなければ、人々はより安価な代替手段を探すでしょう。
ソースコード管理やバグデータベース、IDEあるいはviやEmacsを使っているのと同じように、より多くの開発者がオブザーバビリティを受け入れるべきだと考えています。しかし、私たちはそれがそのレベルのユビキタス性に値すると考えています。
Raj : 私は vi 対 Emacs の議論に触れるつもりはありませんが、それ以外は完全に同意します。Grafana Labsでは、明らかにオープンソースに偏っています。6年前にオープンソース企業として会社を立ち上げましたが、Grafanaからクラウドを支える高スケーラビリティのPrometheusバックエンドまで、すべてが完全にオープンソースであるため、私たちはすべてオープンソースを重視しています。私たちは、オープンソースに全面的に参加しています。Stephen O'Gradyが言ったように、開発者は「新しいキングメーカー」です。そして、ここ数年のオープンソースの観測可能性コミュニティ内での活動は、本当に驚異的なものだったと思います。10年前までは、オープンソースは、多くの商用ベンダの代わりに安くて陽気なものだったのですが、ここ数年は、オープンソースコミュニティの活動は本当に驚異的なものでした。
ここでも偏った見方をしますが、GrafanaやPrometheusのようなものは、最先端の活動の多くがそこで行われています。特にPrometheusは非常に効率的に運営されています。サービス提供者の価格設定は間違いなく最重要ですよね？なぜなら、Prometheusのオープンソースの効率性を享受している企業が、ホストごとに高額な価格設定をするのは、かなり高い注文になる可能性があるからです。私たちは、独自のクラウドサービスを提供する上で、この点について考えなければなりませんでしたし、私たちはオープンソースを本当に信じています。一般的に、開発者のマインドシェアは非常に重要であり、オープンソースとオープンコミュニティは、それを実現するための手段です。当社では、Grafana自体から独自のPrometheusクラウド バックエンドCortexまで、すべての作業を完全にオープンソースで行っています。そして、何よりもお客様とコミュニティを結びつけることが重要だと考えています。
Joel : 将来についてお二人に質問させていただきます。ここ数年、私たちはデータセットがどのようなものであるか、ソフトウェアで何が起こっているかの全体像を把握するために測定し、管理する必要があるものの種類について統合してきました。そして、いくつかの可視化ツールを標準化しました。特にNew RelicがTelemetry Data Platformを使って行っていることで、非常に大量のデータを管理することが可能になりました。将来はどうなるのでしょうか？開発者が成功を収めるために重要な、観測可能性の次に重要なことは何でしょうか？
Lew: しかし、このデータにはAIの機会があり、開発者は機械学習モデルを使って、現在人間が手作業で行っていることを自動化したり予測したりすることができます。今後5年以内に、一流のSREが本番システムのトラブルシューティングで行っていることをAIが再現できるようになるとは思えません。これらのエンジニアが非常に才能があり、見つけるのが難しいのには理由があります。AIが何をするのかを大げさに言うつもりはありませんが、アラートのノイズを減らしたり、問題を相関させたり、診断や根本原因の修正にかかる時間を短縮したりすることは、これまで以上に多くのことが行われてきましたし、今後も行われるでしょう。
しかし、もう一つは、収集されたデータには非常に多くの価値があるということです。データの上に新しいクラスのアプリケーションを構築する機会があると思います。私たちはダッシュボードが大好きです。ダッシュボードは、このデータを人々に提示するための主要な方法です。開発者がデータの上に新しいアプリケーションを構築するのをどのように簡単にしてくれるのか、私はワクワクしています。React コンポーネントを書くだけで、ビジュアライゼーションを提示する以上のことができるようになります。実際にリッチなアプリケーションを書くことができ、デジタルビジネスについての新しい情報を表示したり、ゼロから作る場合には10倍以上のコストがかかるかもしれないデジタルビジネスとのやりとりをすることができるかもしれません。ですから、私たちはその点にも注目しています。
Raj : AIや機械学習についての誇大広告が多いのは事実です。誰かがAIやMLについて言及するたびに、その人はウォッカを一杯飲まなければならないと冗談で言っていますが、これはGrafana Labsの良いルールではありません。というのも、私たちの生産性を大幅に低下させてしまうからです。複雑な分散システムから大量のデータが出てくるので、ワークフローやトラブルシューティングの経験、メトリクスからログ、トレースまでの道のりに重点を置いています。約1年半前にLokiというオープンソースプロジェクトをリリースしました。Prometheusのようなものですが、ログ用です。トレース分野のオープンソースプロジェクトをリリースしようとしています。
私たちは、メトリクスとログとトレースの間を非常に簡単に遷移させることで、ジャーニーをつなぎ、問題の根源にたどり着くためのシームレスな体験を実現しようとしています。深夜3時にページが表示され、本番の問題をトラブルシューティングしようとしていて、ぼんやりとした目でさまざまなツールにログインしなければならないような、かわいそうなSREのために最適化したいと考えています。私たちが特に力を入れているのは、エクスペリエンスと統一されたコンテキストです。午前 3 時に最適化し、エクスペリエンスの最適なフローを維持することです。これは、私たちが非常に興味を持っていることです。
Joel: もう一つ、Grafana Labsが提供している企業向けおよび商用のサービスに関連して、今回発表された提携に ついても注目しておきたいことがあります。Rajさん、それについてお話していただけますか？
Raj : その通りです。これまでオープンソースのユーザーが、PromQLとGrafanaのビルトインサポートを利用して、New Relic Telemetry Data Platformと対話する方法について多くの話をしてきました。また、New Relicのすべてのお客様には、Grafana Enterpriseの30日間の無料トライアルが提供されています。Grafana Enterpriseには、New Relicや他の数十社の商用ベンダーへのデータソースのほか、セキュリティやスケーラビリティなど、大規模な組織向けに構築された多くの機能が用意されています。
基本的に、New Relicの顧客はGrafana Enterpriseの30日間の無料トライアルを利用して、PromQLだけでなくNRQLを介してNew Relicとのインターフェースを構築し、さまざまな商用ベンダーのデータを持ち込むことができます。
Joel : このアイデアはとても気に入っています。これが本当のパートナーシップとはどういうものかというと、どちらの場合も開発者というユーザーに焦点を当てています。現在New Relicを利用している開発者は、PromQLを使ってデータを照会したり、Grafanaを使ってNRQLを使ってデータを照会したりすることができ、開発者にとって納得のいく方法で情報を扱うことができます。このようなサービスを提供できることは、非常に素晴らしいことです。最後に、オープンソースのトレンドや現状について、他に何か共有したいことはありますか？
Lew： 今回発表するGrafana Labsとのパートナーシップと、当社のTelemetry Data Platformの第一級のフロントエンドとしてGrafanaをどのように採用しているかについては、非常に興奮しています。当社のTelemetry Data Platformにより、お客様はGrafanaをすべての運用データの単一の真実のソースと考えることができるようになると考えています。また、多くのバックエンドにデータを分散させていた場合よりも、はるかに安価なコストで、はるかに優れたクエリ速度でデータを取得することができます。
しかし、実際には、お客様は多くのバックエンドをお持ちで、その多くがPrometheusであることを認識しており、お客様に切り替えや一括しての決断を求めているわけではありません。お客様は、当社のTelemetry Data Platformを好きなペースで採用することができ、当社のデータストアや他のデータストアへの素晴らしいフロントエンドとしてGrafanaを使い続けることができます。私たちは、すべての開発者に素晴らしい体験を提供したいと考えています。
Raj、本当に素晴らしい経験をさせていただきました。あなたやGrafana Labsのチームとの交流は、私たちの視点から見ても素晴らしいものでした。
Raj ： 私たちは、このパートナーシップ全体にも非常に期待しています。Grafanaは常にデータを接続することを目指してきました。データがGrafana Labsのクラウドサービスであろうと、New Relicであろうと、どこに存在するかに関わらず統合します。
特にNew Relicとのパートナーシップには非常に期待しています。というのも、New RelicはPrometheusをサポートしており、非常に革新的な価格モデルを提供しているからです。また、PromQLを使用するネイティブのGrafanaデータソースであるため、顧客のデータがどこに存在していても、簡単に組み合わせることができます。これは非常にエキサイティングなことです。
New Relicがエージェントをオープンソース化し、Prometheusの後ろ盾となったことは、非常に賢明なことであり、オープンソースコミュニティやGrafanaコミュニティに歓迎されることでしょう。そして、このようなレベルのイノベーションを見ることができるのは本当に素晴らしいことです。
実は、共同創業者であるAnthonyと私がNew Relicの株式公開日にニューヨーク証券取引所の外に立っている時の写真があります。私たちは常にNew Relicという会社を尊敬していましたが、６年後に我々の組織間のパートナーシップを発表できることは本当に素晴らしいことです。
Joel ： 素晴らしいですね。お二人ともありがとうございました。
本ブログに掲載されている見解は著者に所属するものであり、必ずしも New Relic 株式会社の公式見解であるわけではありません。また、本ブログには、外部サイトにアクセスするリンクが含まれる場合があります。それらリンク先の内容について、New Relic がいかなる保証も提供することはありません。
