nomic-ai

【建設AI】Construction AI Leaderboardの概要と評価の詳細 はじめに ONESTRUCTIONの金澤です。 この度、ONESTRUCTIONは「Construction AI Leaderboard」を公開しました🎉 昨今、さまざまなAIモデルがリリースされるなかで、 「建設業務で使えるAIはどれなのか」 「建設AIに取り組みたいが、AIモデルの選び方が難しい」 といった悩みをお持ちの方も多いかと思います。 Construction AI Leaderboardは、そうした疑問に答えるために開発されたLLMリーダーボードです。ONESTRUCTIONが体系化した5つの評価軸を元に、業務の目的に合ったAIモデルを選ぶための比較として活用いただけます。 なお、評価対象のモデルは都度更新予定なので、最新のモデルが登場する度にぜひご参考いただければと思います✨ 本ブログでは、Construction AI Leaderboardをより深く理解していただけるよう、スコアの見方や評価方法、使用したベンチマークについて詳しく解説します。 Construction AI Leaderboardの評価体系 5つの評価軸 本リーダーボードは、建設実務におけるLLMの性能を評価するために開発しました。ONESTRUCTIONが注力するBIM分野の性能も重視し、以下の5つのベンチマークを評価軸として採用しています。 評価ジャンル ベンチマーク 一言説明 図面・資料理解 AEC-Bench（既存） 建設図面・資料に対するQAと矛盾検出 BIM編集 BIM-Edit（既存） 自然言語の指示に従ってIFCモデルを編集 BIM理解 IFC-Bench-V2（既存） IFCモデルを探索し、質問に回答 積算QA CEQuest（既存） 積算・図面読解の知識を問うQA IDS生成 Ishigaki-IDS-Bench（自作） BIM情報要件からIDS XMLを生成 各ベンチマークの代表スコアを定義し、その平均値を本リーダーボードの「総合スコア」としています。各ベンチマークの内容や採点方法は、後段で詳しく解説します。 建設実務には多様な業務があり、今回の5つの評価軸ですべてを網羅できるわけではありません。一方、評価手法が確立され、ライセンス上も利用可能な既存ベンチマークは限られています。また、独自のベンチマーク開発には、専門知識や専門家との協業が必要です。 こうした制約を踏まえ、既存のベンチマークと独自に開発したベンチマークを組み合わせた今回の評価体系を構成しました。 なお、図面から建物のBIMモデルを生成する力を測る自社ベンチマーク「BIMGenBench」も開発中で、後日リーダーボードに加える予定です（現時点では総合スコアに含まれません） コストとスピード 既存のリーダーボードでは、一般に、処理速度をtoken/sec、コストを100万トークンあたりの入出力料金で示しています。しかし、推論に多くのトークンを使うモデルでは、これらの指標だけでは実際の費用や待ち時間を把握しにくくなります。 そこで本リーダーボードでは、建設実務に最も近いという想定のもと、図面・資料理解（AEC-Bench）評価の1件あたりのコストと処理時間を代表値として採用しました。 商用モデルのコストは、OpenRouterのAPIの利用実績をもとに、キャッシュを効かせた場合の料金で算出しています。オープンモデルのコストは、ローカル環境での推論で使ったトークン数にArtificial Analysisで採用されている料金を掛け、さらに、商用モデルでキャッシュによって料金が何割になったか（ベンチマークごとの中央値）を掛けて算出しています。 処理時間は、商用モデル・オープンモデルともに実測値（1件あたりの中央値）を採用しています。 ! 処理時間に公称値を使用しなかった理由は、公称値から見込まれる時間に対して、実測値が約0.5〜2.5倍となる差が見られ、参考にならないと判断したためです。 これらの定義は、実務でそれぞれのモデルを使う状況に近い算出方法を想定して設計しています。 モデル選定 公開時点（2026年10月）で実務に活用されうる主要な画像入力対応のモデルを選定しました。幅広い選択肢を比較できるよう、商用モデルとオープンモデルの両方を評価対象としています。 公開時点の評価対象モデルは、以下のとおりです： モデル名 カテゴリ 開発元 GPT-6 Astra 商用 OpenAI GPT-6.1 Sol 商用 OpenAI Claude Opus 5 商用 Anthropic Claude Opus 5.5 商用 Anthropic Claude Fable 5 商用 Anthropic Claude Sonnet 5 商用 Anthropic Claude Sonnet 5.5 商用 Anthropic Gemini 3.1 Pro 商用 Google Gemini 3.7 Flash 商用 Google Gemini 4 Argon 商用 Google Grok 4.7 商用 SpaceXAI Muse Spark 1.3 商用 Meta Qwen3.8-27B オープン Alibaba GLM-5.3-Flash オープン Z.ai DeepSeek V4.1 Flash オープン DeepSeek Kimi K3 オープン Moonshot AI Muse Glimmer 30B オープン Meta Gemma 4 31B IT オープン Google Nemotron 3 Nano Omni オープン NVIDIA DeepSeek V4.1 Flash 1017 オープン DeepSeek 評価対象は、新しいモデルの登場に合わせて随時追加・更新する予定です。 評価ベンチマーク ここからは、今回採用している評価ベンチマークについて個別に紹介します。なお、スコアは、今回の実行環境・設定におけるモデルと実行系の性能を示します。公式評価とは一部条件が異なる場合があるので留意いただくようお願いいたします。 AEC-Bench（既存ベンチマーク） 概要: AEC-Benchは、文書探索、図面理解を含む実務的な建設業務の遂行能力を評価します。具体的には、単一シート・図面セット・プロジェクトという3つの評価範囲に関して、QAや矛盾検出など、9種類・196タスクで構成されています。 AgentはPDFの画像化・テキスト抽出・コード実行を通じて資料を探索し、最終結果をJSONL形式で出力します。 代表スコア定義： 本リーダーボードでは、全196タスクのRewardを平均し、100点満点に換算します。 今回の評価用に実装を変更した部分： 最新のモデルは、長時間にわたって自律的に思考・行動し、正確な答えを導きます。そのため、公式の制限時間（900秒）では、多くのモデルが回答前にtimeoutとなり、本来の実力を大きく下回るスコアになっていました。そこで、大半のタスクで回答を終えられる制限時間を調査し、1タスクあたりの制限時間を1,800秒に延ばしました。 公式ではCodex・Claude Codeのハーネスを使用していますが、特定のモデルに有利・不利が生じないよう、今回は全モデルでpiを使用しました。 AgentのToolはread・bash・edit・writeだけです。不正を防ぐため、Web検索とサブエージェントは禁止しています。 BIM-Edit（既存ベンチマーク） 概要： BIM-Editは、自然言語の指示に従って、IFCモデルを正しく編集できるかを評価します。部材の作成・更新・削除の324タスクで構成されています。AgentはIfcOpenShellのコードを実行してIFCを編集し、編集済みのIFCを保存します。 代表スコア定義： 保存したIFCを正解と比べ、形状・属性・関係をそれぞれ0〜1で採点した平均を、全324タスクで平均し、100点満点に換算します。 今回の評価用に実装を変更した部分： AEC-Benchと同様に、公式の上限（20往復）では、多くのモデルが編集を終える前に打ち切られていました。そこで、各モデルが十分に回答できる往復数を調査し、上限を160往復に広げました。 公式の評価実装は公開されていないため、論文の記述をもとに再現実装しました。なお、再現実装では論文とスコアが一致することを確認してから使用しています。 不正を防ぐため、Agentから正解のIFCが見えないよう作業環境を隔離し（Linuxのnamespaceで、見えるファイルを作業フォルダとPython環境だけに限定）、評価を行いました。 IFC-Bench-V2（既存ベンチマーク） 概要： IFC-Bench-V2は、IFCモデルに関する質問に対し、AgentがIfcOpenShellでモデルを探索・集計し、正しく答えられるかを評価します。今回は公式ベンチのテスト用問題を使用したため、31のIFCモデルに対する514問で構成されています。Agentは最大15回までコードを実行し、文章で回答します。 代表スコア定義： 判定役のAIが正解例と照合し、数値・漏れ・根拠・質問との整合をすべて満たした回答だけを正解とします。全514問の正解率を100点満点で示します。 今回の評価用に実装を変更した部分： 公開コードの既定では、回答したモデル自身が採点します。採点基準をそろえるため、判定役のAIを全モデル共通でDeepSeek-V3.2に固定しました。 不正を防ぐため、正解データをAgentから見えないようにし、コードはネットワークを遮断した環境で実行しています。 Claude Opus 5・Claude Fable 5は、公式の形式では応答の拒否が多く見られました。そのため、この2モデルでは思考過程ではなく次の操作の簡潔な説明を求めるよう、この2モデルはプロンプト中の2か所だけ、「Reasoning for next step」を「Brief explanation of the next step」に、「Thoughts:」を「Explanation:」に置き換えて評価しました CEQuest（既存ベンチマーク） 概要： CEQuestは、米国の建設教育で学ぶ積算・図面読解の基礎知識を、選択式・True/Falseの問題で問うQAです。入力はテキストのみで、AIは選択肢の記号かTRUE/FALSEで答えます。 代表スコア定義： 回答から公式のルールで記号を取り出し、正解と一致した割合（正答率）を100点満点で示します。 今回の評価用に実装を変更した部分： 公開データでは、問題の選択肢がA〜Cの3つしかないにも関わらず、正解がDやEになっている問題が30問ありました。これらはどのモデルも正解できないため、除外して134問で評価しました。 Ishigaki-IDS-Bench（自社ベンチマーク） 概要： Ishigaki-IDS-Benchは、BIMの情報要件（自然言語やCSV）から、buildingSMARTの検証用フォーマットであるIDS 1.0のXMLを正しく生成できるかを評価します。日英166問で構成され、うち44問は会話の中で前のIDSを修正する問題です。 代表スコア定義： 生成したIDSを正解と、対象やプロパティなどの指定（Facet）ごとに照合したF1を、全166問で平均し、100点満点に換算します（Facet F1）。 評価の実装 今回の評価は、5つのベンチマークを同じ手順で実行・記録できるよう構築した、独自の評価基盤で行いました。主な設定は以下のとおりです。 商用モデル オープンモデル 推論 OpenRouterのAPI（提供元の自動切り替えなし） 自社GPU（H200）上のvLLM 思考 あり（reasoning effort：medium） あり（各モデルの既定） 生成パラメータ 指定なし（提供元の既定値） 各モデルの推奨値（temperature 1.0・top_p 0.95など） 最大出力 指定なし 原則81,920トークン オープンモデルの思考の強さは、原則として各モデルの既定としています。商用モデルは、評価にかかるコストと、実務で使う際の費用・応答時間とのバランスを考え、mediumに統一しています。 評価にかかる時間とコストの関係で、複数回の評価値を平均するベンチマークであっても、1回のみの評価を採用しています。 なお、評価の設定はリーダーボードの「評価の詳細」ページからも確認いただけます。 評価のログはW&B Weaveに記録しました。マルチモーダルなQAやtrajectoryを保存しているため、評価に問題がなかったかを後から簡単に確認できます。 評価結果と考察 総合スコアの上位は、Claude Opus 5.5（73.7点）、Gemini 4 Argon（73.6点）、Claude Opus 5（72.7点）でした。一方で、評価軸ごとの1位は、図面・資料理解とIDS生成がClaude Opus 5.5、BIM理解がClaude Opus 5、BIM編集がGemini 4 Argon、積算QAがGemini 3.7 Flashと分かれています。 ここでは、評価結果から見えてきたことを3つ紹介します。 Claude Opus 5.5は性能もコスパも高い 総合1位（73.7点）で、図面・資料理解（70.2点）とIDS生成（63.0点）でも1位でした。積算QAも93.3点で、トップのGemini 3.7 Flash（95.5点）との差は2点ほどです。 前世代のClaude Opus 5と比べると、図面・資料理解の点を7点上げながら、1件あたりの費用は約5分の1（0.33ドル対1.8ドル）、時間は約3分の1（1.7分対5.0分）になりました。 👉最高の性能を精度・費用・時間のバランスから追うのであれば、まず試したいモデルです。 GPT-6.1 Solはコスパがとても良い 総合4位（70.2点）で、GPT-6 Astra（70.1点）とほぼ同じ点であり、コストでは1件あたり約6分の1の費用（0.12ドル対0.78ドル）となります。図面・資料理解（66.3点）は3位で、BIM編集でも83.2点を記録しました。 また、Claude Sonnet 5.5も総合66.9点であり、コスト指標も0.14ドルなので、安く使える商用モデルの候補です。積算QAに限れば、Gemini 3.7 Flashが全モデル中1位（95.5点）で、費用もごくわずかです。 👉コスパの良い商用モデルを使いたい方は、一押しのモデルです。 オープンモデルは、用途によっては商用モデルに並ぶ 自前のGPUで動かせるオープンモデルは、図面・資料理解でDeepSeek V4.1 Flash（10月17日版、67.6点）がGPT-6 Astra（66.2点）を上回りました。GLM-5.3-Flash（61.9点）もClaude Sonnet 5.5（58.6点）を上回っています。BIM編集ではGLM-5.3-Flash（78.9点）がClaude Fable 5（79.7点）とほぼ並びます。 ただし、今回の自社GPU環境では処理時間もかかり、図面・資料理解の1件あたりでは、点の高いオープンモデルは約7〜12分と、GPT-6 Astra（約1.5分）の数倍の時間がかかっています。 👉時間はかかるものの、大量に回す業務や、データを社外に出せない業務で、用途に合うモデルがあるなら有力な選択肢です。 AIの取り組みを検討中の方へ ONESTRUCTIONでは、本リーダーボードの開発をはじめ、経済産業省の「GENIAC」に2年連続で採択され、建設に特化したAIモデルの開発を進めています。こうした建設×AIの専門性と実績を活かして、皆さまの取り組みをご支援できます。 本リーダーボードに限らず、建設×AIについてご相談があれば、お気軽に下記よりお問い合わせください。後日、担当者よりご連絡いたします。 onestruction.com

【建設AI】Construction AI Leaderboardの概要と評価の詳細 はじめに ONESTRUCTIONの金澤です。 この度、ONESTRUCTIONは「Construction AI Leaderboard」を公開しました🎉 昨今、さまざまなAIモデルがリリースされるなかで、 「建設業務で使えるAIはどれなのか」 「建設AIに取り組みたいが、AIモデルの選び方が難しい」 といった悩みをお持ちの方も多いかと思います。 Construction AI Leaderboardは、そうした疑問に答えるために開発されたLLMリーダーボードです。ONESTRUCTIONが体系化した5つの評価軸を元に、業務の目的に合ったAIモデルを選ぶための比較として活用いただけます。 なお、評価対象のモデルは都度更新予定なので、最新のモデルが登場する度にぜひご参考いただければと思います✨ 本ブログでは、Construction AI Leaderboardをより深く理解していただけるよう、スコアの見方や評価方法、使用したベンチマークについて詳しく解説します。 Construction AI Leaderboardの評価体系 5つの評価軸 本リーダーボードは、建設実務におけるLLMの性能を評価するために開発しました。ONESTRUCTIONが注力するBIM分野の性能も重視し、以下の5つのベンチマークを評価軸として採用しています。 評価ジャンル ベンチマーク 一言説明 図面・資料理解 AEC-Bench（既存） 建設図面・資料に対するQAと矛盾検出 BIM編集 BIM-Edit（既存） 自然言語の指示に従ってIFCモデルを編集 BIM理解 IFC-Bench-V2（既存） IFCモデルを探索し、質問に回答 積算QA CEQuest（既存） 積算・図面読解の知識を問うQA IDS生成 Ishigaki-IDS-Bench（自作） BIM情報要件からIDS XMLを生成 各ベンチマークの代表スコアを定義し、その平均値を本リーダーボードの「総合スコア」としています。各ベンチマークの内容や採点方法は、後段で詳しく解説します。 建設実務には多様な業務があり、今回の5つの評価軸ですべてを網羅できるわけではありません。一方、評価手法が確立され、ライセンス上も利用可能な既存ベンチマークは限られています。また、独自のベンチマーク開発には、専門知識や専門家との協業が必要です。 こうした制約を踏まえ、既存のベンチマークと独自に開発したベンチマークを組み合わせた今回の評価体系を構成しました。 なお、図面から建物のBIMモデルを生成する力を測る自社ベンチマーク「BIMGenBench」も開発中で、後日リーダーボードに加える予定です（現時点では総合スコアに含まれません） コストとスピード 既存のリーダーボードでは、一般に、処理速度をtoken/sec、コストを100万トークンあたりの入出力料金で示しています。しかし、推論に多くのトークンを使うモデルでは、これらの指標だけでは実際の費用や待ち時間を把握しにくくなります。 そこで本リーダーボードでは、建設実務に最も近いという想定のもと、図面・資料理解（AEC-Bench）評価の1件あたりのコストと処理時間を代表値として採用しました。 商用モデルのコストは、OpenRouterのAPIの利用実績をもとに、キャッシュを効かせた場合の料金で算出しています。オープンモデルのコストは、ローカル環境での推論で使ったトークン数にArtificial Analysisで採用されている料金を掛け、さらに、商用モデルでキャッシュによって料金が何割になったか（ベンチマークごとの中央値）を掛けて算出しています。 処理時間は、商用モデル・オープンモデルともに実測値（1件あたりの中央値）を採用しています。 ! 処理時間に公称値を使用しなかった理由は、公称値から見込まれる時間に対して、実測値が約0.5〜2.5倍となる差が見られ、参考にならないと判断したためです。 これらの定義は、実務でそれぞれのモデルを使う状況に近い算出方法を想定して設計しています。 モデル選定 公開時点（2026年10月）で実務に活用されうる主要な画像入力対応のモデルを選定しました。幅広い選択肢を比較できるよう、商用モデルとオープンモデルの両方を評価対象としています。 公開時点の評価対象モデルは、以下のとおりです： モデル名 カテゴリ 開発元 GPT-6 Astra 商用 OpenAI GPT-6.1 Sol 商用 OpenAI Claude Opus 5 商用 Anthropic Claude Opus 5.5 商用 Anthropic Claude Fable 5 商用 Anthropic Claude Sonnet 5 商用 Anthropic Claude Sonnet 5.5 商用 Anthropic Gemini 3.1 Pro 商用 Google Gemini 3.7 Flash 商用 Google Gemini 4 Argon 商用 Google Grok 4.7 商用 SpaceXAI Muse Spark 1.3 商用 Meta Qwen3.8-27B オープン Alibaba GLM-5.3-Flash オープン Z.ai DeepSeek V4.1 Flash オープン DeepSeek Kimi K3 オープン Moonshot AI Muse Glimmer 30B オープン Meta Gemma 4 31B IT オープン Google Nemotron 3 Nano Omni オープン NVIDIA DeepSeek V4.1 Flash 1017 オープン DeepSeek 評価対象は、新しいモデルの登場に合わせて随時追加・更新する予定です。 評価ベンチマーク ここからは、今回採用している評価ベンチマークについて個別に紹介します。なお、スコアは、今回の実行環境・設定におけるモデルと実行系の性能を示します。公式評価とは一部条件が異なる場合があるので留意いただくようお願いいたします。 AEC-Bench（既存ベンチマーク） 概要: AEC-Benchは、文書探索、図面理解を含む実務的な建設業務の遂行能力を評価します。具体的には、単一シート・図面セット・プロジェクトという3つの評価範囲に関して、QAや矛盾検出など、9種類・196タスクで構成されています。 AgentはPDFの画像化・テキスト抽出・コード実行を通じて資料を探索し、最終結果をJSONL形式で出力します。 代表スコア定義： 本リーダーボードでは、全196タスクのRewardを平均し、100点満点に換算します。 今回の評価用に実装を変更した部分： 最新のモデルは、長時間にわたって自律的に思考・行動し、正確な答えを導きます。そのため、公式の制限時間（900秒）では、多くのモデルが回答前にtimeoutとなり、本来の実力を大きく下回るスコアになっていました。そこで、大半のタスクで回答を終えられる制限時間を調査し、1タスクあたりの制限時間を1,800秒に延ばしました。 公式ではCodex・Claude Codeのハーネスを使用していますが、特定のモデルに有利・不利が生じないよう、今回は全モデルでpiを使用しました。 AgentのToolはread・bash・edit・writeだけです。不正を防ぐため、Web検索とサブエージェントは禁止しています。 BIM-Edit（既存ベンチマーク） 概要： BIM-Editは、自然言語の指示に従って、IFCモデルを正しく編集できるかを評価します。部材の作成・更新・削除の324タスクで構成されています。AgentはIfcOpenShellのコードを実行してIFCを編集し、編集済みのIFCを保存します。 代表スコア定義： 保存したIFCを正解と比べ、形状・属性・関係をそれぞれ0〜1で採点した平均を、全324タスクで平均し、100点満点に換算します。 今回の評価用に実装を変更した部分： AEC-Benchと同様に、公式の上限（20往復）では、多くのモデルが編集を終える前に打ち切られていました。そこで、各モデルが十分に回答できる往復数を調査し、上限を160往復に広げました。 公式の評価実装は公開されていないため、論文の記述をもとに再現実装しました。なお、再現実装では論文とスコアが一致することを確認してから使用しています。 不正を防ぐため、Agentから正解のIFCが見えないよう作業環境を隔離し（Linuxのnamespaceで、見えるファイルを作業フォルダとPython環境だけに限定）、評価を行いました。 IFC-Bench-V2（既存ベンチマーク） 概要： IFC-Bench-V2は、IFCモデルに関する質問に対し、AgentがIfcOpenShellでモデルを探索・集計し、正しく答えられるかを評価します。今回は公式ベンチのテスト用問題を使用したため、31のIFCモデルに対する514問で構成されています。Agentは最大15回までコードを実行し、文章で回答します。 代表スコア定義： 判定役のAIが正解例と照合し、数値・漏れ・根拠・質問との整合をすべて満たした回答だけを正解とします。全514問の正解率を100点満点で示します。 今回の評価用に実装を変更した部分： 公開コードの既定では、回答したモデル自身が採点します。採点基準をそろえるため、判定役のAIを全モデル共通でDeepSeek-V3.2に固定しました。 不正を防ぐため、正解データをAgentから見えないようにし、コードはネットワークを遮断した環境で実行しています。 Claude Opus 5・Claude Fable 5は、公式の形式では応答の拒否が多く見られました。そのため、この2モデルでは思考過程ではなく次の操作の簡潔な説明を求めるよう、この2モデルはプロンプト中の2か所だけ、「Reasoning for next step」を「Brief explanation of the next step」に、「Thoughts:」を「Explanation:」に置き換えて評価しました CEQuest（既存ベンチマーク） 概要： CEQuestは、米国の建設教育で学ぶ積算・図面読解の基礎知識を、選択式・True/Falseの問題で問うQAです。入力はテキストのみで、AIは選択肢の記号かTRUE/FALSEで答えます。 代表スコア定義： 回答から公式のルールで記号を取り出し、正解と一致した割合（正答率）を100点満点で示します。 今回の評価用に実装を変更した部分： 公開データでは、問題の選択肢がA〜Cの3つしかないにも関わらず、正解がDやEになっている問題が30問ありました。これらはどのモデルも正解できないため、除外して134問で評価しました。 Ishigaki-IDS-Bench（自社ベンチマーク） 概要： Ishigaki-IDS-Benchは、BIMの情報要件（自然言語やCSV）から、buildingSMARTの検証用フォーマットであるIDS 1.0のXMLを正しく生成できるかを評価します。日英166問で構成され、うち44問は会話の中で前のIDSを修正する問題です。 代表スコア定義： 生成したIDSを正解と、対象やプロパティなどの指定（Facet）ごとに照合したF1を、全166問で平均し、100点満点に換算します（Facet F1）。 評価の実装 今回の評価は、5つのベンチマークを同じ手順で実行・記録できるよう構築した、独自の評価基盤で行いました。主な設定は以下のとおりです。 商用モデル オープンモデル 推論 OpenRouterのAPI（提供元の自動切り替えなし） 自社GPU（H200）上のvLLM 思考 あり（reasoning effort：medium） あり（各モデルの既定） 生成パラメータ 指定なし（提供元の既定値） 各モデルの推奨値（temperature 1.0・top_p 0.95など） 最大出力 指定なし 原則81,920トークン オープンモデルの思考の強さは、原則として各モデルの既定としています。商用モデルは、評価にかかるコストと、実務で使う際の費用・応答時間とのバランスを考え、mediumに統一しています。 評価にかかる時間とコストの関係で、複数回の評価値を平均するベンチマークであっても、1回のみの評価を採用しています。 なお、評価の設定はリーダーボードの「評価の詳細」ページからも確認いただけます。 評価のログはW&B Weaveに記録しました。マルチモーダルなQAやtrajectoryを保存しているため、評価に問題がなかったかを後から簡単に確認できます。 評価結果と考察 総合スコアの上位は、Claude Opus 5.5（73.7点）、Gemini 4 Argon（73.6点）、Claude Opus 5（72.7点）でした。一方で、評価軸ごとの1位は、図面・資料理解とIDS生成がClaude Opus 5.5、BIM理解がClaude Opus 5、BIM編集がGemini 4 Argon、積算QAがGemini 3.7 Flashと分かれています。 ここでは、評価結果から見えてきたことを3つ紹介します。 Claude Opus 5.5は性能もコスパも高い 総合1位（73.7点）で、図面・資料理解（70.2点）とIDS生成（63.0点）でも1位でした。積算QAも93.3点で、トップのGemini 3.7 Flash（95.5点）との差は2点ほどです。 前世代のClaude Opus 5と比べると、図面・資料理解の点を7点上げながら、1件あたりの費用は約5分の1（0.33ドル対1.8ドル）、時間は約3分の1（1.7分対5.0分）になりました。 👉最高の性能を精度・費用・時間のバランスから追うのであれば、まず試したいモデルです。 GPT-6.1 Solはコスパがとても良い 総合4位（70.2点）で、GPT-6 Astra（70.1点）とほぼ同じ点であり、コストでは1件あたり約6分の1の費用（0.12ドル対0.78ドル）となります。図面・資料理解（66.3点）は3位で、BIM編集でも83.2点を記録しました。 また、Claude Sonnet 5.5も総合66.9点であり、コスト指標も0.14ドルなので、安く使える商用モデルの候補です。積算QAに限れば、Gemini 3.7 Flashが全モデル中1位（95.5点）で、費用もごくわずかです。 👉コスパの良い商用モデルを使いたい方は、一押しのモデルです。 オープンモデルは、用途によっては商用モデルに並ぶ 自前のGPUで動かせるオープンモデルは、図面・資料理解でDeepSeek V4.1 Flash（10月17日版、67.6点）がGPT-6 Astra（66.2点）を上回りました。GLM-5.3-Flash（61.9点）もClaude Sonnet 5.5（58.6点）を上回っています。BIM編集ではGLM-5.3-Flash（78.9点）がClaude Fable 5（79.7点）とほぼ並びます。 ただし、今回の自社GPU環境では処理時間もかかり、図面・資料理解の1件あたりでは、点の高いオープンモデルは約7〜12分と、GPT-6 Astra（約1.5分）の数倍の時間がかかっています。 👉時間はかかるものの、大量に回す業務や、データを社外に出せない業務で、用途に合うモデルがあるなら有力な選択肢です。 AIの取り組みを検討中の方へ ONESTRUCTIONでは、本リーダーボードの開発をはじめ、経済産業省の「GENIAC」に2年連続で採択され、建設に特化したAIモデルの開発を進めています。こうした建設×AIの専門性と実績を活かして、皆さまの取り組みをご支援できます。 本リーダーボードに限らず、建設×AIについてご相談があれば、お気軽に下記よりお問い合わせください。後日、担当者よりご連絡いたします。 onestruction.com

Top 5 Tool LLM Lokal dengan Bintang GitHub Terbanyak Ini lima tool LLM lokal dengan bintang GitHub terbanyak, dihitung hari ini. #1 Ollama — 184.967 bintang (ollama/ollama) #2 Open Webui — 156.917 bintang (open-webui/open-webui) #3 Llama.Cpp — 132.502 bintang (ggml-org/llama.cpp) #4 Vllm — 95.680 bintang (vllm-project/vllm) #5 Gpt4All — 77.354 bintang (nomic-ai/gpt4all) Empat dari lima pakai lisensi open source. Open Webui pengecualiannya. Kamu pakai yang mana? Tulis di komentar 👇 Data: Bintang Github · 27 Okt 2026 #Shorts #AItools #GitHub #opensource #belajarAI #programmer

Top 5 Most-Starred Local LLM Tools on GitHub These are the five most-starred local LLM tools, counted today. #1 Ollama — 184,967 stars (ollama/ollama) #2 Open Webui — 156,917 stars (open-webui/open-webui) #3 Llama.Cpp — 132,502 stars (ggml-org/llama.cpp) #4 Vllm — 95,680 stars (vllm-project/vllm) #5 Gpt4All — 77,354 stars (nomic-ai/gpt4all) Four of the five ship under an open source license. Open Webui is the exception. Which one are you using? Tell me in the comments 👇 Data: Github Stars · 27 Oct 2026 #Shorts #AItools #GitHub #opensource #vibecoding #developer