trulens

Activity, over time

Daily GitHub activity and social mentions.

Mentions

Daily posts linking to this repository

Loading mentions chart

Attention

Daily stars & forks

Loading attention chart

Star accumulation

Cumulative stars

Loading star accumulation chart

Pull requests

Daily opens & merges

Loading pull requests chart

Conversations

Daily issues & comments

Loading conversations chart

Community

Daily accounts & reviews

Loading community chart

Mentions

2posts · 30d
Nov 190 posts
  1. > Stopping a bad plan is cheaper than tracing a bad run. Most of this list watches an AI app after it's live. coduo-afk has a plan reviewer that refuses a ticket graph that can't be built, before any branch exists. sahildave/coduo-afk

    2 likes · 82 views
  2. Snowflake Cortex AI Observabilityを体験する はじめに 2026年9月に株式会社アシストに入社した三原と申します。現在はSnowflakeの導入支援業務に携わっております。日々Snowflakeの機能や活用方法についての勉強を重ねているところです。 生成AIを業務に組み込むことが一般的になりつつある一方で、生成AIはハルシネーション等のリスクは付き物です。 生成された出力を無批判に受け入れるわけではなく、必ず検証というフェーズが不可欠になります。 そのため、別途妥当性の検証、都度プロンプトチューニングを繰り返して品質の向上に努める必要があるわけです。 日進月歩著しい昨今、各社LLMベンダが高頻度で新モデルをリリースしており、その都度コストや品質を検証する必要があり、LLM評価の仕組み化は業務にAIを組み込んでいる企業の命題と言っても過言ではないのかも知れません。 特にDWHの世界ではETL/ELTプロセスにLLMを組み込み分析を自動化するユースケースが存在するため、AI Observabilityの追求は重要であると言えます。 SnowflakeにもAI Observabilityを担保する為の機能が存在します。 例えば、Cortex Agentsで作成したエージェントを実行すると、以下のように「LLMの計画 → ツールの実行 → 応答生成」といった内部の処理の流れや、各処理のレイテンシ・トークン消費を画面上で確認できます。 本記事では、こうした機能の概要を説明したうえで、実際にエージェントを作成してトレース・評価・使用量を確認し、最後に補足としてSnowflakeがこの領域に力を入れる歴史的背景を紹介する、というフローで解説していければと思います。 既に同様のトピックを扱った記事は存在しますが、アウトプットを兼ねて投稿します。 この記事を読むとわかること ・AI Observability(LLMアプリケーションの可観測性)の概要と必要性 ・Snowflake Cortex AI Observabilityの機能概要 ・Cortex Agentsのエージェントを作成し、トレース・LLM-as-a-judgeによる評価・使用量(クレジット/トークン)を確認する手順 ・SnowflakeがAI Observabilityに力を入れる背景(TruEra買収) 想定読者 ・Snowflake Cortex Agentsを使い始めた、または導入を検討している方 ・LLMアプリケーションの品質評価や監視の方法を知りたい方 読了時間の目安 約15分(SQLやYAMLのコードを読み飛ばす場合は約10分) ! 本記事は執筆者個人の技術的な考察・検証結果をまとめたものです。所属会社である株式会社アシストの公式見解、方針、または業務上の見解を代表するものではありません。内容の正確性には努めていますが、利用にあたってはご自身の環境や公式ドキュメントをご確認ください。 座学編 まずは前提となる概念と、Snowflakeの関連機能について整理します。 大前提、Observability(可観測性)とは Observability(オブザーバビリティ)とは和訳すると可観測性ともいい、システムのログやメトリクス等の情報からシステムの内部状態を把握する為の仕組みです。 システムのパフォーマンスに直結する指標をしっかりと捉え、内部の状態を見える化しながら品質の評価につなげていくということです。 この用語が頻繁に使われるSREの世界では、システムの信頼性を担保する為に必要となるアプリケーションのログ、トレース情報やインフラのCPU,メモリ消費等の内部情報を正確にアクセス・収集し、不具合・障害分析等のトラブルシューティングに繋げる為の可視化された仕組みという事になります。 では、AI Observabilityとは何なのか、というと自然言語で与えられたプロンプトを如何に解釈し、タスクを分解、ツールを選択して出力に至ったのかを明らかにし、消費トークンやレイテンシ等含めて妥当性を評価する事です。仮に出力が誤っていた場合に、その出力までのプロセスでツールの選択、ないしツールに渡す引数を間違えたのか、等詳細にトラブルシューティングする事が可能になります。 AI Observabilityの代表的なツールとしてはLangfuse(langfuse/langfuse)が最も著名だと思われます。評価機能やプロンプト管理機能などとにかくリッチでLLMアプリケーションから送るトレース用エンドポイントを払い出し、トレース単位でレイテンシやトークンの費用等も計測可能である点含めて過不足無いものになります。 Snowflake Cortex AI Observability SnowflakeにもAI Observabilityに相当する機能が存在し、大きく分けると以下の3つになります。 ・トレース参照 ・データセットを用いたLLM-as-a-judgeによる評価 ・クレジット/トークン消費量等の使用量の記録 本記事の実践編では、この3つの機能を順に試していきます。 併せて、Snowflake外で構築したLLMアプリケーション(RAG、エージェント等)も、TruLens SDK(truera/trulens)のSnowflake用コネクタ(trulens-connectors-snowflake)を利用する事でトレースをSnowflakeへ送信でき、Snowflake上でトレースの参照や評価ができます。 つまり、Langfuseと同じようにSnowflakeをLLMアプリケーションのオブザーバビリティプラットフォームとして利用する事が可能です。 ! TruLensはLLMアプリケーションのトレースの閲覧と評価を行う為のOSSで、TruEraが開発元です(買収後はSnowflakeがメンテナンスしています)。 TruEra買収の背景については、記事の最後の「補足」で触れます。 Snowflake Cortex AI Agent Cortex Agentsは、Snowflake環境内でAIエージェントを構築・実行できるサービスです。 AIエージェントにはAgent Development Kit(adk.dev)のように、制御ロジックの実行環境を用意する必要があるものもありますが、Cortex Agentsの場合はSnowflakeに統合されているマネージドなAIエージェントである為、実行環境を自前で用意する必要はありません。 ! 裏を返せばマルチエージェント構成での並列処理のような凝った設計、インフラレベルでの調整ができないことを意味するので、AIエージェントの要件次第では他のAIエージェントの方が適している可能性はあります。 Snowsight(GUI)、SQL、REST APIのいずれからでもエージェントを作成できます。 エージェントはリクエストごとに、以下のループで処理を進めます。 ・計画:リクエストを解釈し、必要に応じてサブタスクに分解して利用するツールを選択 ・ツール実行:選択したツールを呼び出し ・振り返りと回答:結果を評価し、追加のツール呼び出しや確認の質問を行うか、最終回答を返す 主なツールとしては以下が利用できます。 ・Cortex Analyst:セマンティックビューを介して構造化データにSQLで問い合わせ ・Cortex Search:ドキュメント等の非構造化データを検索 ・カスタムツール:ストアドプロシージャやUDF(ユーザー定義関数)をツールとして登録 ・その他:MCPコネクタ、Web検索、Pythonコード実行など オーケストレーションモデルにはClaude、GPT、Geminiといった各社のモデルを選択できます。 また、スレッドやトレースの参照、ユーザーからの評価の収集、データセットを用いた評価の実行、使用量の記録といったObservabilityの機能も備わっています。今回はこのObservabilityのうち、前述したトレース・評価・使用量の3つの機能が主題となります。 実践編 Cortex AgentsにおけるObservabilityを一通りエージェントを作って実践しながら試してみました。 前半でエージェントを作成・実行し、後半の本題でトレース・評価・使用量の3つの機能を順に確認していきます。 今回実践する際に作成するAIエージェントでは、遊戯王カードの自然言語でカード枚数やカード名などの質問を受けると、オーケストレーションモデルがセマンティックビューを参照するツールを判断し、セマンティックビューからSQLを生成・実行し、結果をもとに日本語の回答を生成します。 データセット データセットとしては、以下の遊戯王カードリストのTSVファイルを利用します。 sushicircle/yugioh_ocg_list このデータセットは、2000年4月から2025年4月までに日本で発売された遊戯王OCGのカードを、収録パック単位でまとめたものです。 列名 内容 例 Card number 収録パックごとのカード番号 WJ-01 English name 英語名 Gaia The Fierce Knight Japanese name 日本語名(漢字にふりがな付き) 暗(あん)黒(こく)騎(き)士(し)ガイア Rarity レアリティ Ultra Rare Category カードの種類 Effect Monster / Normal, Spell Set Name 収録パック名 Limited Edition 2 Set Date 発売日 01.04.2000 Set Link 収録パック名(Wikiのリンク名) Limited Edition 2 全体で約19,000行あり、カードの種類で数えると約9,300種、収録パックは約1,000種です。同じカードが再録されるたびに1行ずつ追加されるため、1つのカードが複数行に出てきます。 テーブル作成とデータロード 権限周りの諸々は記事の主題から外れる為、割愛します。 テーブル作成・データロードのSQL(クリックで展開)USE ROLE SYSADMIN; -- データベース・スキーマ作成 CREATE DATABASE IF NOT EXISTS YUGIOH_DB; CREATE SCHEMA IF NOT EXISTS YUGIOH_DB.DATA; USE DATABASE YUGIOH_DB; USE SCHEMA DATA; -- 内部ステージ作成 CREATE STAGE IF NOT EXISTS INTERNAL_STAGE; -- TSVファイル用フォーマット CREATE FILE FORMAT IF NOT EXISTS TSDV_FORMAT TYPE = CSV FIELD_DELIMITER = '\t' SKIP_HEADER = 1 FIELD_OPTIONALLY_ENCLOSED_BY = NONE TRIM_SPACE = TRUE EMPTY_FIELD_AS_NULL = TRUE NULL_IF = ('', 'NULL') DATE_FORMAT = 'DD.MM.YYYY'; -- カードマスタ作成 CREATE TABLE IF NOT EXISTS CARD_MASTER ( CARD_NUMBER VARCHAR, ENGLISH_NAME VARCHAR, JAPANESE_NAME VARCHAR, RARITY VARCHAR, CATEGORY VARCHAR, SET_NAME VARCHAR, SET_DATE DATE, SET_LINK VARCHAR ); --CLI等でTSVファイルを内部ステージにPUTする -- snow sql -c <connection> -q "PUT 'file://$(pwd)/yugioh_ocg_list.tsv' @YUGIOH_DB.DATA.INTERNAL_STAGE AUTO_COMPRESS=FALSE OVERWRITE=TRUE" -- ステージ上のファイル確認 LIST @INTERNAL_STAGE; -- TSVファイルをロード -- 発売日の表記が「01.04.2000」「18 May 2000」等で混在している為、一旦今回はDD.MM.YYYY形式の行のみをロードする -- それ以外の形式の行はエラーとしてスキップする為、ON_ERRORはCONTINUEで指定する COPY INTO CARD_MASTER FROM @INTERNAL_STAGE FILE_FORMAT = ( FORMAT_NAME = 'YUGIOH_DB.DATA.TSDV_FORMAT' ) PATTERN = '.*[.]tsv' ON_ERROR = CONTINUE; -- ロード結果確認 SELECT * FROM CARD_MASTER LIMIT 10; tsvのデータがロードされました。 セマンティックビューの作成 次にセマンティックビューを作成します。 ! セマンティックビューとは セマンティックビューは、テーブルの上にドメインの意味・指標の内容を定義するSnowflakeのスキーマオブジェクトです。 通常のテーブルやビューは列名とデータ型しか持たないため、LLMから見るとどの列が何を表すのか、カード枚数はどう集計すればよいのかといった集計ルールなどのコンテキストが不足しています。そこで、データの意味や集計ルールをセマンティックビューとしてあらかじめ定義しておく事で、エージェントが自然言語の質問からドメインの文脈に即した正確なSQLを生成できるようになります。 主な構成要素は以下の通りです。 ・TABLES(論理テーブル):対象となる物理テーブル ・RELATIONSHIPS:テーブル間の結合条件(今回は1テーブルのみなので省略) ・DIMENSIONS:分類・絞り込みの軸になる列(レアリティ、収録パック名、発売年など) ・METRICS:集計の定義(カード種類数、パック数など) ・FACTS:行レベルの数値(今回は使用しません) 各要素には WITH SYNONYMS(同義語)や COMMENT(説明)を付与でき、「パック名」「弾」のような言い換えや列の補足情報をLLMに伝える事ができます。 例えば今回のデータは同じカードが再録のたびに1行ずつ追加される構造の為、カードは何種類あるかと聞かれて単純に COUNT(*) すると再録分まで数えてしまいます。集計方法をMETRICSとして定義しておけば、LLMが毎回集計方法を推測する必要がなくなり、毎度同じ定義で集計されます。 このように、指標の定義をLLMに解釈させずにデータ側で一元管理できる点が、セマンティックビューを使う大きな意義と言えます。 セマンティックビュー作成のSQL(クリックで展開)CREATE OR REPLACE SEMANTIC VIEW YUGIOH_DB.DATA.YUGIOH_CARD_SEMANTIC_VIEW TABLES ( cards AS YUGIOH_DB.DATA.CARD_MASTER COMMENT = '遊戯王OCGのカード収録リスト。同じカードが再録されるたびに1行追加される' ) DIMENSIONS ( cards.card_number AS cards.CARD_NUMBER WITH SYNONYMS = ('カード番号', '収録番号') COMMENT = '収録パックごとのカード番号(例: LB-59)。カードの種類を一意に表すものではない', cards.english_name AS cards.ENGLISH_NAME WITH SYNONYMS = ('英語名', 'カード名') COMMENT = 'カードの英語名。カードの種類を識別する際に使用する', cards.japanese_name AS cards.JAPANESE_NAME WITH SYNONYMS = ('日本語名', 'カード名') COMMENT = 'カードの日本語名。漢字にふりがなが付与されている(例: 暗(あん)黒(こく)騎(き)士(し)ガイア)', cards.rarity AS cards.RARITY WITH SYNONYMS = ('レアリティ', 'レア度') COMMENT = 'レアリティ。複数レアリティで収録された場合はカンマ区切り(例: Rare, Ultra Rare)', cards.category AS cards.CATEGORY WITH SYNONYMS = ('カードの種類', 'カードタイプ') COMMENT = 'カードの種類。複数の属性はカンマ区切り(例: Effect Monster, "Normal, Spell", "Effect, Synchro Monster")', cards.set_name AS cards.SET_NAME WITH SYNONYMS = ('収録パック', 'パック名', '弾') COMMENT = '収録パック名', cards.set_date AS cards.SET_DATE WITH SYNONYMS = ('発売日') COMMENT = '収録パックの発売日', cards.set_year AS YEAR(cards.SET_DATE) WITH SYNONYMS = ('発売年') COMMENT = '収録パックの発売年' ) METRICS ( cards.card_kind_count AS COUNT(DISTINCT cards.ENGLISH_NAME) WITH SYNONYMS = ('カードの種類数', 'カード数') COMMENT = 'カードの種類数。再録は同じカードとして1種類で数える', cards.print_count AS COUNT(*) WITH SYNONYMS = ('収録数', '収録枚数') COMMENT = '収録数。再録も含めて1行ずつ数える', cards.set_count AS COUNT(DISTINCT cards.SET_NAME) WITH SYNONYMS = ('パック数', '収録パック数') COMMENT = '収録パックの数', cards.ultra_rare_count AS COUNT_IF(CONTAINS(cards.RARITY, 'Ultra Rare')) WITH SYNONYMS = ('ウルトラレアの数') COMMENT = 'レアリティにUltra Rareを含む収録数' ) COMMENT = '遊戯王OCGのカード情報を分析するためのセマンティックビュー'; Cortex Analystでの動作確認 実際にプレイグラウンドで試してみます。 例えば、以下の質問をしてみます。 Q.2020年以降に発売されたパックのうち、カードの種類数が最も多いパックは? CARD_KIND_COUNT SET_NAME 178 Complete File: Story of White 生成されたSQLは以下になります。 SELECT * FROM SEMANTIC_VIEW( YUGIOH_DB.DATA.YUGIOH_CARD_SEMANTIC_VIEW METRICS card_kind_count DIMENSIONS set_name WHERE set_date >= '2020-01-01' ) ORDER BY card_kind_count DESC NULLS LAST LIMIT 1 -- Generated by Cortex Analyst (request_id: 7ba98d54-2579-44e6-be0f-18da39a71cb5) ; エージェントの作成 エージェントを作成します。オーケストレーションモデルにはclaude-sonnet-4-6を指定し、ツールとして先ほどのセマンティックビューを参照するCortex Analystを1つだけ紐づけています。 エージェント作成のSQL(クリックで展開)-- Cortex Agents作成 CREATE OR REPLACE AGENT YUGIOH_DB.DATA.YUGIOH_CARD_AGENT COMMENT = 'YUGIOH_CARD_AGENT' FROM SPECIFICATION $$ models: orchestration: claude-sonnet-4-6 orchestration: tool_not_accessible: reject budget: seconds: 60 tokens: 16000 instructions: response: | 回答は日本語で、簡潔かつ正確に記述してください。 カード枚数などの数値を回答する場合は、集計条件と対象範囲を明記してください。 レアリティ名、カテゴリ名、セット名は、データに登録されている値を使用してください。 該当するデータがない場合は、推測せず「該当データなし」と回答してください。 orchestration: | カード名、カード番号、レアリティ、カテゴリ、セット、発売日、 セット別・カテゴリ別・レアリティ別のカード枚数に関する質問には YUGIOH_Analystを使用してください。 sample_questions: - question: "カードの種類数と、再録を含めた収録数をそれぞれ教えてください" - question: "再録回数が最も多いカードの上位10件を教えてください" - question: "発売年ごとの収録パック数とカードの種類数を教えてください" - question: "Ultra Rareの収録数が多い収録パックの上位5件を教えてください" - question: "カテゴリ別のカードの種類数を多い順に教えてください" tools: - tool_spec: type: cortex_analyst_text_to_sql name: YUGIOH_Analyst description: "遊戯王カードのカード番号、カード名、レアリティ、カテゴリ、セット、発売日などを分析します。" tool_resources: YUGIOH_Analyst: semantic_view: YUGIOH_DB.DATA.YUGIOH_CARD_SEMANTIC_VIEW execution_environment: type: warehouse warehouse: <warehouse_name> # 各自の環境のウェアハウス名に置き換えてください $$; エージェントの実行 DATA_AGENT_RUN(docs.snowflake.com)関数で作成したエージェントを実行します。 SELECT SNOWFLAKE.CORTEX.DATA_AGENT_RUN('YUGIOH_DB.DATA.YUGIOH_CARD_AGENT!LIVE', $$ { "messages": [ { "role": "user", "content": [ { "type": "text", "text": "シンクロモンスターが初めて収録された年はいつですか?また、その年以降のシンクロモンスターの種類数を年ごとに教えてください" } ] } ] } $$ ) 結果が返ってきました。 内容の要旨としては以下の通りでした。 シンクロモンスターは2008年に初めて登場しました(6種類)。最も多かったのは2012年の58種類です。その後は年によって増減があり、2016年は1種類で最少、2023年は26種類で近年の最多でした。集計の対象は、カテゴリ名に「Synchro」を含むカードです。 実際のデータに対しての妥当性とか整合性はともかくとして、エージェントの内部で何が起きているのか、SnowflakeのObservabilityを見て調べていきます。 (本題)SnowflakeのAI Observability 今回の本題です。 座学編で触れた通り、Cortex AgentsのAI Observabilityには大きく分けて以下の3つの機能があります。 機能 何がわかるか 確認する場所 トレース 1回の実行の中で、エージェントがどの順序で何を判断・実行したか Agent Studioの[Observability]タブ LLM-as-a-judgeによる評価 複数の質問に対して、エージェントの回答やツールの使い方が妥当か Agent Studioの[Evaluations]タブ 使用量 どの実行でどれだけクレジット・トークンを消費したか CORTEX_AGENT_USAGE_HISTORY トレースで個別の実行を深掘りし、評価で品質を継続的に測り、使用量でコストを把握する、という関係になっています。 本章ではこの順番で紹介していきます。 トレースの確認 まずはトレースです。 Cortex Agentsでは、エージェントが実行されると会話履歴や実行トレースが、OpenTelemetry形式でSNOWFLAKE.LOCAL.AI_OBSERVABILITY_EVENTSに自動で記録されます。 通常のLLMアプリケーションであれば、実行環境を考慮したトレース設計・設定が必要なのですが、Snowflakeではマネージドでトレースが送信されます。 GET_AI_OBSERVABILITY_EVENTS関数で内容を確認します。 docs.snowflake.com SELECT * FROM TABLE( SNOWFLAKE.LOCAL.GET_AI_OBSERVABILITY_EVENTS( 'YUGIOH_DB', 'DATA', 'YUGIOH_CARD_AGENT', 'CORTEX AGENT' ) ); オーケストレーションモデルがCortexAnalystを使う事を判断しているのが各スパンで確認できますが、SQLの結果のままだと見づらいので、Snowsightの画面で確認します。 Snowsight上のAgent Studioの[Observability]タブから各エージェントの実行毎にトレースが確認できます。 参照している情報としては、同じくSNOWFLAKE.LOCAL.AI_OBSERVABILITY_EVENTSで、いい感じにGUI上で表示しているものと思われます。 上の画像では、「LLMの計画 → セマンティックコンテキスト取得 → LLMの計画 → SQL実行 → … → LLM応答生成」とスパンが時系列に並んでおり、エージェントがどのような順序で処理を進めたのかが一目で分かります。 スパン単位で確認できる情報 各スパンを選択すると、以下のような情報を確認できます。 ・レイテンシ:スパン毎の処理時間(今回の例では全体30.5秒のうちSQL実行は1.2秒で、大半はLLMの計画・応答生成に費やされている事が分かります) ・トークン消費:入力・出力・計画トークン数(今回の例では入力約11,500トークンに対し出力は94トークンと、セマンティックビューの定義等のコンテキストが入力の大半を占めている事が分かります) ・使用モデル:オーケストレーションモデルに使われたLLMモデル ・ツールの入出力:選択されたツール名、ツールに渡された引数、ツールの実行結果 ・生成されたSQL:Cortex Analystが生成し、実際に実行されたSQL ・応答指示:エージェントに設定したinstructionsの内容 例えば、最終的なエージェント実行結果が間違っていた場合に個別のスパンを確認して、 そもそもとしてツール選択が誤っているのか、セマンティックビューを参照して生成されたSQLが間違っているのか、SQLの実行結果を読み取った後のLLM出力が間違っているのか、等問題の切り分けが可能になります。 また、レイテンシやトークン消費をスパン単位で把握できる為、どの処理がボトルネックになっているのか、コストがどこに掛かっているのかといった観点での改善にも活用できます。 LLM-as-a-judgeによる評価 次に評価です。トレースが1回の実行を深掘りするための機能だとすると、評価は複数の実行をまとめて品質を測るための機能です。 AIエージェントの品質は、自然言語の入力に対して正しい出力を返せているか、その過程でツールが適切に使われているか、といった点に直結します。 トレースを1件ずつ確認する事で個別の問題は切り分けられますが、プロンプトやセマンティックビュー、エージェントの個別のプロパティを更新する度に人手で確認するのは中々骨が折れます。 そこで継続的にAIエージェントの品質を担保する仕組みとして、あらかじめ質問と期待する回答のセット(データセット)を用意し、エージェントの回答を LLM に採点させる LLM-as-a-judge による Evaluations 機能が用意されています。 docs.snowflake.com 今回は一つしかツールを紐づけていないので、例としては少し微妙ですが、複雑なエージェントになると複数ツールを紐づける事も珍しくはない為、こうした評価は重要になってくるかと思います。 評価データセットの準備 評価データセットは、ケースID(VARCHAR)、質問(VARCHAR)、期待する回答(VARIANT)を持つテーブルとして用意します。 GROUND_TRUTH(正解データ)はVARIANT型で、以下のキーを格納します。 ・ground_truth_output:期待する回答の内容 ・ground_truth_invocations:期待するツール呼び出し(呼び出すべきツール名) CREATE OR REPLACE TABLE YUGIOH_DB.DATA.YUGIOH_CARD_AGENT_EVALUATION_DATA ( CASE_ID VARCHAR, USER_QUESTION VARCHAR, GROUND_TRUTH VARIANT ); INSERT INTO YUGIOH_DB.DATA.YUGIOH_CARD_AGENT_EVALUATION_DATA (CASE_ID, USER_QUESTION, GROUND_TRUTH) SELECT COLUMN1, COLUMN2, PARSE_JSON(COLUMN3) FROM VALUES -- 基本的な集計:METRICSの使い分け ( 'COUNT_001', 'カードの種類数と、再録を含めた収録数をそれぞれ教えてください。', $${"ground_truth_output": "カードの種類数と、再録を含めた収録数をそれぞれ示し、両者の集計条件の違いを説明すること。", "ground_truth_invocations": [{"tool_name": "YUGIOH_Analyst"}]}$$ ), -- ランキング:収録数をカード名で集計 ( 'RANK_001', '再録回数が最も多いカードの上位10件を教えてください。', $${"ground_truth_output": "カード名ごとの収録数を集計し、収録数の多い順に上位10件のカード名と収録数を示すこと。", "ground_truth_invocations": [{"tool_name": "YUGIOH_Analyst"}]}$$ ); 評価の設定 評価の設定はYAMLファイルで定義します。データセットの作成(dataset)、評価対象のエージェント(evaluation)、評価指標(metrics)の3つのブロックで構成されます。 yugioh_card_agent_evaluation.yaml dataset: dataset_type: "CORTEX AGENT" table_name: "YUGIOH_DB.DATA.YUGIOH_CARD_AGENT_EVALUATION_DATA" dataset_name: "YUGIOH_CARD_AGENT_EVALUATION_DATASET" column_mapping: query_text: "USER_QUESTION" ground_truth: "GROUND_TRUTH" evaluation: agent_params: agent_name: "YUGIOH_DB.DATA.YUGIOH_CARD_AGENT" agent_type: "CORTEX AGENT" agent_version: "LIVE" run_params: label: "YUGIOH_CARD_AGENT evaluation" source_metadata: type: "dataset" dataset_name: "YUGIOH_CARD_AGENT_EVALUATION_DATASET" metrics: - name: "answer_correctness" version: "v3" - name: "tool_selection_accuracy" ! metricsブロックで指定可能な評価指標について、以下になります。 ・Answer correctness:Agentの最終回答が、正解データ(ground_truth_output)とどの程度一致しているかをLLMが評価 ・Logical consistency:Agentの指示、計画、ツール呼び出しが一貫しているかをLLMが評価。 ・Tool selection accuracy(Public Preview):正解データ(ground_truth_invocations)で期待したツールを呼び出したかを評価。LLMは使わず、一致したツール数から機械的に算出 ・Tool execution accuracy(Public Preview):ツールに渡した入力と得られた出力が、正解データで期待した内容と合っているかを評価。tool_input / tool_output を省略した場合は、ツールが呼び出されたかのみを確認 評価の実行 YAMLファイルをステージにアップロードし、EXECUTE_AI_EVALUATIONで評価を開始します。 -- CLI等でYAMLファイルを内部ステージにPUTする -- snow sql -c <connection> -q "PUT 'file://$(pwd)/yugioh_card_agent_evaluation.yaml' @YUGIOH_DB.DATA.INTERNAL_STAGE AUTO_COMPRESS=FALSE OVERWRITE=TRUE" -- 評価の開始 CALL EXECUTE_AI_EVALUATION( 'START', OBJECT_CONSTRUCT('run_name', 'yugioh-eval-run-1'), '@YUGIOH_DB.DATA.INTERNAL_STAGE/yugioh_card_agent_evaluation.yaml' ); 内部的にはTaskが作成され、裏側でCortex Agentが評価データの質問ごとに実行されます。 評価結果の確認 評価結果はAgent Studioの[Evaluations]タブから確認できます。 評価データテーブルのレコードの数だけエージェントが実行され、指標ごとのスコアと、レコードごとの入力・出力・実行時間が一覧で表示されます。 今回は2件のレコードに対して、Answer Correctness、Tool Selection Accuracyともに1.00という結果になりました。 各レコードを選択すると、指標ごとの採点の詳細を確認できます。 例えばAnswer Correctnessでは、エージェントの出力と正解データ(必要な出力)が並べて表示され、どのような回答に対して何点が付いたのかを確認できます。 今回は正解データに具体的な数値ではなく「何を示すべきか」という要件を記述している為、要件を満たしていれば満点となっています。 Tool Selection Accuracyでは、期待したツール(Expected)と実際に呼び出されたツール(Invoked)が比較され、一致したツールが表示されます。 また、各レコードからはスレッドやトレースの詳細にも遷移できる為、スコアの低いレコードがあった場合は、そのままトレースを確認して原因を切り分ける、といった流れで改善に繋げる事ができます。 使用量(クレジット・トークン)の確認 最後に使用量です。 Cortex Agentsの使用履歴として、Account UsageスキーマのCORTEX_AGENT_USAGE_HISTORYから参照が可能です。 使用履歴の性質としては、SNOWFLAKE.LOCAL.AI_OBSERVABILITY_EVENTSはエージェントそのものの実行履歴となりますが、 このCORTEX_AGENT_USAGE_HISTORYは管理者目線でどの程度課金が発生したのか、を把握するのが主目的になります。 SELECT h.REQUEST_ID, m.value:cache_read_input::NUMBER AS cache_read_tokens, m.value:cache_write_input::NUMBER AS cache_write_tokens, m.value:output::NUMBER AS output_tokens, h.TOKENS AS total_tokens, h.TOKEN_CREDITS AS token_credits FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_AGENT_USAGE_HISTORY h, LATERAL FLATTEN(input => h.TOKENS_GRANULAR) g, LATERAL FLATTEN(input => g.value) r, LATERAL FLATTEN(input => r.value:cortex_agents) m WHERE h.AGENT_NAME = 'YUGIOH_CARD_AGENT'; 実行結果は以下の通りです。 REQUEST_ID CACHE_READ CACHE_WRITE OUTPUT TOTAL_TOKENS TOKEN_CREDITS 0801d1b9-... 99,372 28,995 1,517 129,893 0.105 REQUEST_IDはトレースのリクエストIDと一致する為、どの実行でどれだけクレジットを消費したのかを紐付けて確認できます。 補足:SnowflakeがAI Observabilityに力を入れる背景 ここまで見てきたAI Observabilityの機能の背景には、SnowflakeによるTruEraの買収があります。 TruEraは元々は2019年に創設された米国のベンチャー企業で、AIモデルやLLMアプリケーションの品質・信頼性を評価、監視するプラットフォームを提供していました。Snowflakeは2024年にTruEraの買収合意を発表しており、TruEraが持っていたAI Observabilityに関する技術や知見を、SnowflakeのAI・ML基盤に取り込む方針を示しました。 Snowflakeが買収の背景として挙げているのは、生成AIを実験段階から実際の業務や本番環境へ展開する際の難しさです。 AIを業務に組み込む場合、単に回答が生成できればよいわけではなく、継続的に十分な品質を発揮できるか、入力や出力に問題がないか、想定外の挙動が発生していないかを確認し続ける必要があります。 Snowflakeの発表では、TruEraの技術によって、LLMアプリケーションの入力、出力、中間結果の品質を評価できると説明されています。また、質問応答、要約、RAG、Agentなど、複数のユースケースに対して実験結果を評価できる点も挙げられています。 Accelerating enterprise AI use cases into production is now a board-level priority for most companies. However, one of the key challenges in AI today is ensuring that those use cases are ready for real-life use and continue to perform at a high level in production. Not only must enterprises ensure accurate, reliable, and valuable results they must also address and mitigate critical issues like bias, hallucinations, and toxicity. The ability to demonstrate that AI is both trustworthy and high performing will be key to AI adoption and its ability to deliver ongoing business value. snowflake.com Snowflake社はブログで、バイアスやハルシネーション等のリスクへの対処と、AIの信頼性を示す事が鍵であると述べています。 Snowflakeは繰り返しAIに利用するデータの品質やガバナンスを重視する姿勢をアピールしてきており、AI Observabilityの重要性を強く認識した上での戦略的買収であると言えます。 おわりに 今回はSnowflake Cortex AgentsとAI Observabilityを、遊戯王カードのデータセットを題材に一通り試してみました。 Cortex Agentsはマネージドなサービスである為、実行環境の構築やトレースの送信設定を意識せずにエージェントを動かせるのが大きな魅力ですが、裏を返せば内部の処理が見えにくく、エージェントがどう考えてツールを選択してその回答に至ったのかを利用者側で把握しづらいという側面もあります。 マネージドであるからこそ、エージェントの振る舞いをブラックボックスとして扱わずに、詳らかにする仕組みを整えて品質を管理する必要があると思っています。 紹介した通り、SnowflakeではAI Observabilityの仕組みがプラットフォームに組み込まれています。 データとAIが同じ基盤上にあり、且つデータを参照するAIエージェントの品質の観測・評価までを一貫して行える点は、Snowflakeならではの強みと言えるのではないでしょうか。 Snowflakeは Snowflake World Tour 2026 でも繰り返しガバナンスの重要さを強調していました。AIエージェントを業務に組み込むにあたっては、データのガバナンスだけでなく、エージェントの振る舞いそのもののガバナンスも欠かせません。こうした機能をしっかり有効活用し、Agentic Enterprise を目指していくのがよろしいかと思います。 最後までお読みいただき、ありがとうございました。

    1 like

Latest stargazers

The last 10 distinct accounts we observed this year.

Most active participants

PR, issue, comment & review events in the past year.

Packages

Scan pending.

Live mentions badge

Show how many posts mention your project in the last 30 days.

Live mentions · last 30 days