DeepSeekモデルを活用したAIアプリをNew Relic AI Monitoringで監視

＊本ブログは、Deploy DeepSeek models locally and monitor with New Relic AI Monitoring の抄訳です。

AIの状況は、DeepSeek-R1、Deepseek-V3、Kimi K-1.5、Qwen-2.5-maxなど、新しいモデルの登場により常に進化しています。このような進歩はAI開発を民主化し、世界中のイノベーターや開発者が、そのような画期的な技術に従来関連していた法外なコストをかけずに最先端技術にアクセスすることを可能にしています。ただし、利用可能なモデル数が増えると、どのモデルが特定のアプリケーションに最適なのかという重要な疑問が生じます。より新しく高性能で、コスト効率の高いモデルに切り替える場合の効果をどのように評価できるでしょうか？

これらの懸念に対処するには、AIアプリケーションのパフォーマンス、品質、コストに関する実用的な洞察を提供する堅牢な監視ツールが不可欠です。これがあれば、開発者はリスクを最小限に抑えながら、自信を持ってAIモデルの導入や移行を行ったりできるようになります。

New Relic AI MonitoringによるDeepSeekモニタリングの導入

OpenAI、Claude、AWS Bedrockなどの既存のサポートに加えて、New RelicがAI MonitoringのサポートをDeepSeekモデルに拡張したことをお知らせできることを誇りに思います。このインテグレーションにより、開発者はアプリケーションのパフォーマンスに対する包括的な可視性を維持しながら、DeepSeekのオープンソースのコスト効率の高い機能を最大限に活用できます。

DeepSeekのモデルは、その革新的なアーキテクチャーと効率性により大きな注目を集めています。たとえば：

• DeepSeek-R1モデルは、大幅に低いコスト構造を維持しながら、推論タスクにおける数多くの主要なAIモデルを上回ります。
• 混合専門家（MoE）アーキテクチャーにより、特定のタスクに関連するサブモデルのみがアクティブになり、パフォーマンスを損なうことなく計算オーバーヘッドが削減されます。

New Relic AI Monitoringでは、次のことが可能になります。

• DeepSeekモデル上に構築されたアプリケーションをリアルタイムで監視
• パフォーマンス、品質、コストなどの主要メトリクスを評価
• これらのモデルがアプリケーションの全体的な機能に与える影響に関する洞察を取得

DeepSeekモデルを選ぶ理由

DeepSeek社は、OpenAIやGoogleなどの大手競合他社が必要とするコストの数分の1で高性能モデルを提供することにより、AI分野で強力なプレーヤーとして台頭しました。主な機能は以下の通りです。

• 強化学習：DeepSeekでは、推論タスクに高度な強化学習技術を採用しています。
• コスト効率：DeepSeek-R1のようなモデルは、最先端のパフォーマンスを維持しながら、トレーニングと推論中に使用するリソースを削減します。
• オープンソースへのアクセシビリティ：多くの独自モデルとは異なり、DeepSeekのオープンソースの性質により、開発者は制限なくカスタマイズしてローカル環境に導入できます。

こういった特性により、DeepSeekは、法外な費用をかけずにスケーラブルなAIソリューションを求める企業にとって魅力的な選択肢となります。

DeepSeekモデルをローカルに導入し、New Relicでモニタリングする

このブログ記事では、DeepSeekモデルをローカルで導入し、それをNew Relic AI Monitoringと統合してそのパフォーマンスを効果的に監視する方法を説明します。

ステップ1：DeepSeekモデルをローカルに導入する

• DeepSeekのモデルはローカルにリリースされているため、個人のマシンや共有環境でご自身でホストできます。
• DeepSeekモデルを実行する簡単な方法の1つは、オープンウェイトの大規模言語モデルを簡単に実行するツール、Ollamaを使用することです。
• まず、ここにあるインストーラーを使用してOllamaをインストールします。
• 次に、DeepSeekモデルの1つをダウンロードします。
  • DeepSeekをテストしているだけの場合、8BパラメーターのLlama蒸留モデルは、パフォーマンスとリソース要求の間で適切なバランスを取る必要があります。ollam pull deepseek-r1:8bを実行します。
  • 低消費電力のマシンの場合、またはディスク領域を節約したい場合は、より小さいQwen 1.5Bパラメーターモデルのollama pull deepseek-r1:1.5bを試してみてください。
• 最後に、ollam run deepseek-r1:8bを使用してモデルを実行します（または、Qwenモデルをダウンロードした場合は、それに置き換えます）。これにより、デフォルトでhttp://localhost:11434/v1/chat/completionsにあるOpenAI互換のチャットサーバーが起動します。
• DeepSeekでは、OpenAI SDKを使用してモデルを操作することをお勧めします。クライアントを設定するには、こちらの手順に従ってください。

ステップ2：New Relic AI Monitoringとの統合

DeepSeekはOpenAI互換APIを使用して、アプリケーションでOpenAI SDKを使用することを提案します。したがって、OpenAIを直接使用するアプリケーションとまったく同じように、アプリケーションを監視します。

アプリケーションが導入されたら、以下のようにします。

• 無料のNew Relicアカウントに登録するか、すでにアカウントをお持ちの場合はログインします
• Integrations & Agentsをクリックします
• 検索バーにOpenAIと入力し、それを選択します
• アプリケーションのプログラミング言語（Python、Node.js）を選択してください
• New Relicのガイド付きオンボードプロセスをご確認ください。このプロセスでは、DeepSeekで構築されたAIアプリケーションの計装について説明します。サンプルのアプリ名は「deepseek-local」です

ステップ3：パフォーマンス、品質、コストの評価

アプリケーションを計装すると、AI Monitoringを使用できるようになります。

• AI Monitoringへのアクセス：New Relicダッシュボードの[All Capabilities]に移動し、AI Monitoringをクリックします

• サンプルアプリの選択：AI Monitoringセクションの[All Entities]で、DeepSeekとOllamaを使用して構築されたdeepseek-localサンプルアプリを選択します

• APM 360の概要を表示：移動すると、APM 360の概要が表示されます。このビューにより、APMゴールデンシグナル、インフラストラクチャの洞察、ログのほか、合計リクエスト数、平均応答時間、トークンの使用状況、応答エラー率など、主要なメトリクスに対する洞察を取得できます。問題の原因をすばやく特定し、掘り下げて詳細に分析することができます

• 詳細なトレースビュー：DeepSeekの使用状況に関連する詳細分析を行うには、APM 360の概要でAI responsesをクリックすると、メタデータ（トークン数、モデル情報、ユーザーインタラクションなど）を含む、ユーザー入力から最終応答までのパス全体が表示されます。これにより、問題の根本原因をすばやく特定することが可能です

• モデルの品質評価：LLMの応答を分析して、有害性、侮辱、否定性などの問題を特定して軽減します。現在、これは限定プレビューで利用できます

ステップ4：モデルを比較して適切な選択をする

モデルの比較はAI Monitoringでの重要な部分です。DeepSeekモデルとこれまでに使用した他のモデルを簡単に比較し、パフォーマンスとコストを評価してニーズに最適な選択を行うことができます。

ステップ5：セキュリティとデータプライバシー

DeepSeekのローカルホスト型モデルが備える強力なセキュリティの利点を補完するため、New Relicでは、AIのリクエストと応答から機密データ（個人を特定できる情報やPIIなど）の監視を除外することができます。Drop Filtersをクリックし、提示された6つのイベント内の特定のデータタイプをターゲットにするフィルターを作成します。

まとめ

DeepSeek-R1のような革新的なAIモデルの出現は、人工知能の民主化において極めて重要な瞬間を迎えています。包括的なモニタリングサポートを提供するNew Relic AI Monitoringのようなツールを使用すると、開発者はアプリケーションの最適なパフォーマンスを確保しながら、自信を持ってこのような新しい領域に踏み込むことができます。