sometimes i scroll thru cutlass issues to read wild bug reports cutlass#3797
45 likes · 1 repost · 1,779 views
Interactive World Simulation with Cosmos for Physical AI
We present a shared framework that adapts Cosmos world foundation models for real-time interactive world simulation in Physical AI. By streaming visual observations in response to actions and scene controls, the framework enables users and embodied agents to interact with evolving virtual environments. It supports both predicting the visual consequences of actions and generating observations from physical state maintained by an external simulator. We demonstrate this approach across camera navigation and robot manipulation, controllable video transfer, and multi-view autonomous vehicle (AV) simulation. These examples provide a shared foundation for developing interactive virtual environments for Physical AI training and evaluation. Our code and model checkpoints are available at nvidia/cosmos and huggingface.co. The project website is available at research.nvidia.com.
Comments: Project website: research.nvidia.com
NVIDIAのOSS「OpenShell」：自律AIエージェントを権限で閉じ込める実行環境
!海外の記事から
!🚀 上級者ワークフロー
📰 海外事例
元記事：OpenShell – A safe, private runtime for fleets of autonomous AI agents（github.com）
NVIDIA/OpenShell
---
!ざっくり概要
NVIDIAがGitHubで公開している OpenShell（Apache License 2.0）の紹介です。ファイルを読み、パッケージを入れ、APIを呼び、認証情報も使う自律型のAIエージェントを、データ・秘密情報・ネットワークへの無制限なアクセスなしに動かすための実行環境です。各エージェントが触れる範囲を「ポリシー」に宣言しておくと、OpenShellがそれを強制します。ここで紹介するのはREADMEに書かれた範囲で、実際には動かしていません。
<br>
!記事の要点
二つの守り方
一つ目はカーネルレベルの強制です。エージェントは隔離されたサンドボックスの中で動き、アクセスできるファイルと使えるシステムコール（OSへの命令）がカーネルの機能で絞られます。ネットワーク接続もすべて、外へ出る前にポリシーの検査を通ります。エージェントは本物の認証情報を見ることがなく、承認済みの宛先へ向かう通信にだけ、OpenShellが認証情報を付け足します。
二つ目は、ポリシー変更の形式検証です。ポリシーを変えて新しいホストへ認証情報つきで接続できるようになる、新しいAPIメソッドを呼べるようになる、といった危うい権限拡大を、承認の前に数学的な検証（形式検証）で見つけます。該当する変更は人の確認待ちになります。
使い始め
Linux、Apple SiliconのMac、WSL 2上のWindows（実験的）で動き、Docker・Podman・仮想化のいずれかが要ります。READMEのクイックスタートは、インストーラーを実行して openshell sandbox create --name demo を打つだけです。初期のサンドボックスはエージェントなしの最小のUbuntuで、実際のエージェントはチュートリアルで入れます。そこでは OpenCode を無料のOpenRouterモデルで動かし、エージェントが新しい権限を必要とするたびに承認していく流れが示されています。
周辺の仕組み
制御役のゲートウェイをKubernetes（コンテナを大量に管理する基盤）へ置く構成や、各言語の開発キット（SDK）も用意されています。
気をつけたい点
バージョンは0.1系で、公式が安定版の運用や新しい隔離機能を整えている途中です。また、匿名の利用統計を集める設定が標準で入っています。集めるのは操作の種別と回数だけで、サンドボックス名・ファイルパス・プロンプト・認証情報・モデル名は含まないと書かれています。止めたいときは環境変数 OPENSHELL_TELEMETRY_ENABLED=false を設定します。
<br>
!編集者のひとこと
自律エージェントで一番気をつけるのは、どこまで読ませて、どこまで動かさせるかだと思います。その封じ込めの環境をNVIDIAが用意しているのが面白い。
特に引かれたのは、OpenCodeを無料のOpenRouterモデルで動かす例です。無料モデルは入力が学習に使われるのが基本だと理解しているので、読ませてはいけない範囲は最初から閉じておきたい。OpenShellで封じ込めた状態から始めて、必要な権限だけ足していけば、初手で読み込まれすぎる事故は避けられる。そこがポイントかなと。
1 like
I got so much fucking swag even NVIDIA copying my shit
helixdb/helix-foundry
19 likes · 1 repost · 1,982 views
I had to go digging into the source to realize what it was, e.g.
github.com/NVIDIA/auto-ontology/blob/main/auto_on…
finally got to try nvidia openshell to sandbox my intern after having plugged off my dgx spark out of security scares
NVIDIA/OpenShell
will transfer to my dgx up next t.co
32 likes · 1 repost · 2,045 views
Nvidia – open-source auto-ontology | Discussion
2 likes
NVIDIA open-sourced Auto Ontology under Apache 2.0 🧩 It builds a semantic layer from enterprise metadata so AI agents write SQL against trusted business definitions, served over MCP, CLI and API.
#AI #AIAgents #OpenSource
NVIDIA/auto-ontology
4 likes
Flare, Nvidia's DGX Spark Inference Engine
2 points · 1 comment
OpenShellの権限境界を確認する：Policy Proverの合格と未検証を分ける
!AIエージェントの外側に境界を置く概念イラスト
発表：2026年9月28日／再確認：2026年11月1日。本稿は9月の発表を振り返り、現在の公式資料を確認した記事です。画像は保存済みの概念イラストと編集部作成の解説図で、製品の実画面ではありません。
AIにファイルを読ませたり、文章を下書きさせたりするとき、「ここから先は人が確認する」をどう守るでしょうか。指示文に書くだけではなく、実行する仕組みの側でも境界を持たせる。NVIDIAのOpen Agent Safety Platformは、その考え方を示しています。
1．AIの外側に、実行を制御する層を置く
!図1：NVIDIAの設計に基づく概念図
図1：アプリ、ランタイム、インフラの3層を簡略化した概念図。
NVIDIAは、モデルや道具を動かすアプリの層、隔離とアクセス制御を担うOpenShellの層、さらに独立したハードウェアで監視するSentryとBlueField-4の構成を説明しています。公開ソフトウェアのOpenShellと、追加のハードウェア監視層は分けて考える必要があります。
AIの判断が正しいかと、その操作を許可してよいかは別の問いです。たとえば問い合わせ返信なら、下書きを作る権限と、顧客へ送信する権限を分ける、という考え方につながります。これは記事側の架空例で、実際に導入して試した記録ではありません。
2．権限を広げる前に、境界を確かめる
!図2：NVIDIAの設計に基づく概念図
図2：新しいアクセスを適用する前に確認する設計の概念図。すべての環境で自動的に同じ承認が働くという保証ではありません。
OpenShellの公式資料は、アクセス方針を検証し、実行時にも制限する設計を示しています。11月1日に開いたドキュメントの既定版はv0.1.6でした。ファイルとプロセスの制約はサンドボックス作成時に定まり、ネットワーク方針は実行中の更新に対応すると説明されています。
資格情報も、AIへ本物の秘密をそのまま渡す形とは分けられています。許可された送信先に対して、外側の仕組みで必要な情報を扱う設計です。ただし、これだけで情報漏えいや誤操作が一切なくなる、と読むことはできません。
3．公開実装と、安全性の実証を分ける
!図3：NVIDIAの設計に基づく概念図
図3：一次資料で確認した事項と、この記事で検証していない事項。日本向け価格の未確認は企業向け提供条件についてです。
OpenShellはApache 2.0でソースが公開されています。一方、本記事ではインストール、実行、隔離の突破耐性の評価をしていません。Sentryなどを含む企業向け構成の日本での価格・契約条件も確認していません。公開されていることと、自社の仕事で安全に使えることは、別々に確かめる必要があります。
今日できる一歩
まずは自分の文章業務を1つ選び、「AIが下書きしてよいこと」「人が原資料と照合すること」「外部へ送る前に止める場所」を3行で書いてみてください。これは導入前の整理であり、ソフトの設定や安全性検証の代わりにはなりません。
技術メモ：Policy Proverの結果をどう扱うか
v0.1.6の公式資料では、上限の方針と候補の方針を比較するboundary checkと、新たなネットワーク規則のproposal risk checkを区別しています。一方に通ることは、もう一方の合格を意味しません。
境界確認のCLI例は次の形です。これは公式資料の構文を示す未実行例です。この記事でファイルを作成したり、コマンドを実行した結果ではありません。
openshell-prover check candidate.yaml --boundary boundary.yaml
within_boundaryは検査対象の範囲での合格です。exceeds_boundary、error、unsupported、inconclusiveは合格扱いにしません。現在のモデルはファイル、プロセス、Landlock、ネットワーク接続、REST要求を扱い、GraphQLやMCPなど対応外の規則があれば検査できないことを返すと説明されています。モデル化された範囲の保証を、システム全体の安全性保証へ広げないことが実装上の要点です。
導入前の確認メモには、使う版、境界方針、候補方針、結果とcoverage、未検証の規則を残すと、次の担当が判断を追えます。秘密のトークンを記録する必要はありません。
まとめ
NVIDIAの提案は、AIの賢さに加え、実行できる範囲を外側から管理する設計です。複数のAIや道具をつなぐほど、能力・権限・確認を分けておく意味が大きくなります。9月の発表を、11月の新発表として扱う記事ではありません。
出典（2026年11月1日確認）
NVIDIA Newsroom「Open Agent Safety Platform」2026年9月28日。
NVIDIA Technical Blog「NVIDIA Open Agent Safety Platform: A Reference for Continuous In-Silicon Agent Monitoring」2026年9月28日。
NVIDIA OpenShell公式ドキュメント：Overview／Policy Prover（既定版v0.1.6）。
NVIDIA/OpenShell公式GitHub：公開コードとライセンス。
一次資料のリンク：
- nvidianews.nvidia.com
- docs.nvidia.com
- docs.nvidia.com
- NVIDIA/OpenShell
文章業務の依頼文と確認手順を整理したい方へ
実務プロンプトと運用手順マニュアルのサービスでは、文章業務1種類の指示文と人の確認点をまとめます。OpenShell導入・API実装・セキュリティ監査を追加で請け負う案内ではありません。
1 like
Mentions
sometimes i scroll thru cutlass issues to read wild bug reports cutlass#3797
Interactive World Simulation with Cosmos for Physical AI We present a shared framework that adapts Cosmos world foundation models for real-time interactive world simulation in Physical AI. By streaming visual observations in response to actions and scene controls, the framework enables users and embodied agents to interact with evolving virtual environments. It supports both predicting the visual consequences of actions and generating observations from physical state maintained by an external simulator. We demonstrate this approach across camera navigation and robot manipulation, controllable video transfer, and multi-view autonomous vehicle (AV) simulation. These examples provide a shared foundation for developing interactive virtual environments for Physical AI training and evaluation. Our code and model checkpoints are available at nvidia/cosmos and huggingface.co. The project website is available at research.nvidia.com. Comments: Project website: research.nvidia.com
NVIDIAのOSS「OpenShell」：自律AIエージェントを権限で閉じ込める実行環境 !海外の記事から !🚀 上級者ワークフロー 📰 海外事例 元記事：OpenShell – A safe, private runtime for fleets of autonomous AI agents（github.com） NVIDIA/OpenShell --- !ざっくり概要 NVIDIAがGitHubで公開している OpenShell（Apache License 2.0）の紹介です。ファイルを読み、パッケージを入れ、APIを呼び、認証情報も使う自律型のAIエージェントを、データ・秘密情報・ネットワークへの無制限なアクセスなしに動かすための実行環境です。各エージェントが触れる範囲を「ポリシー」に宣言しておくと、OpenShellがそれを強制します。ここで紹介するのはREADMEに書かれた範囲で、実際には動かしていません。 <br> !記事の要点 二つの守り方 一つ目はカーネルレベルの強制です。エージェントは隔離されたサンドボックスの中で動き、アクセスできるファイルと使えるシステムコール（OSへの命令）がカーネルの機能で絞られます。ネットワーク接続もすべて、外へ出る前にポリシーの検査を通ります。エージェントは本物の認証情報を見ることがなく、承認済みの宛先へ向かう通信にだけ、OpenShellが認証情報を付け足します。 二つ目は、ポリシー変更の形式検証です。ポリシーを変えて新しいホストへ認証情報つきで接続できるようになる、新しいAPIメソッドを呼べるようになる、といった危うい権限拡大を、承認の前に数学的な検証（形式検証）で見つけます。該当する変更は人の確認待ちになります。 使い始め Linux、Apple SiliconのMac、WSL 2上のWindows（実験的）で動き、Docker・Podman・仮想化のいずれかが要ります。READMEのクイックスタートは、インストーラーを実行して openshell sandbox create --name demo を打つだけです。初期のサンドボックスはエージェントなしの最小のUbuntuで、実際のエージェントはチュートリアルで入れます。そこでは OpenCode を無料のOpenRouterモデルで動かし、エージェントが新しい権限を必要とするたびに承認していく流れが示されています。 周辺の仕組み 制御役のゲートウェイをKubernetes（コンテナを大量に管理する基盤）へ置く構成や、各言語の開発キット（SDK）も用意されています。 気をつけたい点 バージョンは0.1系で、公式が安定版の運用や新しい隔離機能を整えている途中です。また、匿名の利用統計を集める設定が標準で入っています。集めるのは操作の種別と回数だけで、サンドボックス名・ファイルパス・プロンプト・認証情報・モデル名は含まないと書かれています。止めたいときは環境変数 OPENSHELL_TELEMETRY_ENABLED=false を設定します。 <br> !編集者のひとこと 自律エージェントで一番気をつけるのは、どこまで読ませて、どこまで動かさせるかだと思います。その封じ込めの環境をNVIDIAが用意しているのが面白い。 特に引かれたのは、OpenCodeを無料のOpenRouterモデルで動かす例です。無料モデルは入力が学習に使われるのが基本だと理解しているので、読ませてはいけない範囲は最初から閉じておきたい。OpenShellで封じ込めた状態から始めて、必要な権限だけ足していけば、初手で読み込まれすぎる事故は避けられる。そこがポイントかなと。
I got so much fucking swag even NVIDIA copying my shit helixdb/helix-foundry
I had to go digging into the source to realize what it was, e.g. github.com/NVIDIA/auto-ontology/blob/main/auto_on…
finally got to try nvidia openshell to sandbox my intern after having plugged off my dgx spark out of security scares NVIDIA/OpenShell will transfer to my dgx up next t.co
Nvidia – open-source auto-ontology | Discussion
NVIDIA open-sourced Auto Ontology under Apache 2.0 🧩 It builds a semantic layer from enterprise metadata so AI agents write SQL against trusted business definitions, served over MCP, CLI and API. #AI #AIAgents #OpenSource NVIDIA/auto-ontology
Flare, Nvidia's DGX Spark Inference Engine
OpenShellの権限境界を確認する：Policy Proverの合格と未検証を分ける !AIエージェントの外側に境界を置く概念イラスト 発表：2026年9月28日／再確認：2026年11月1日。本稿は9月の発表を振り返り、現在の公式資料を確認した記事です。画像は保存済みの概念イラストと編集部作成の解説図で、製品の実画面ではありません。 AIにファイルを読ませたり、文章を下書きさせたりするとき、「ここから先は人が確認する」をどう守るでしょうか。指示文に書くだけではなく、実行する仕組みの側でも境界を持たせる。NVIDIAのOpen Agent Safety Platformは、その考え方を示しています。 1．AIの外側に、実行を制御する層を置く !図1：NVIDIAの設計に基づく概念図 図1：アプリ、ランタイム、インフラの3層を簡略化した概念図。 NVIDIAは、モデルや道具を動かすアプリの層、隔離とアクセス制御を担うOpenShellの層、さらに独立したハードウェアで監視するSentryとBlueField-4の構成を説明しています。公開ソフトウェアのOpenShellと、追加のハードウェア監視層は分けて考える必要があります。 AIの判断が正しいかと、その操作を許可してよいかは別の問いです。たとえば問い合わせ返信なら、下書きを作る権限と、顧客へ送信する権限を分ける、という考え方につながります。これは記事側の架空例で、実際に導入して試した記録ではありません。 2．権限を広げる前に、境界を確かめる !図2：NVIDIAの設計に基づく概念図 図2：新しいアクセスを適用する前に確認する設計の概念図。すべての環境で自動的に同じ承認が働くという保証ではありません。 OpenShellの公式資料は、アクセス方針を検証し、実行時にも制限する設計を示しています。11月1日に開いたドキュメントの既定版はv0.1.6でした。ファイルとプロセスの制約はサンドボックス作成時に定まり、ネットワーク方針は実行中の更新に対応すると説明されています。 資格情報も、AIへ本物の秘密をそのまま渡す形とは分けられています。許可された送信先に対して、外側の仕組みで必要な情報を扱う設計です。ただし、これだけで情報漏えいや誤操作が一切なくなる、と読むことはできません。 3．公開実装と、安全性の実証を分ける !図3：NVIDIAの設計に基づく概念図 図3：一次資料で確認した事項と、この記事で検証していない事項。日本向け価格の未確認は企業向け提供条件についてです。 OpenShellはApache 2.0でソースが公開されています。一方、本記事ではインストール、実行、隔離の突破耐性の評価をしていません。Sentryなどを含む企業向け構成の日本での価格・契約条件も確認していません。公開されていることと、自社の仕事で安全に使えることは、別々に確かめる必要があります。 今日できる一歩 まずは自分の文章業務を1つ選び、「AIが下書きしてよいこと」「人が原資料と照合すること」「外部へ送る前に止める場所」を3行で書いてみてください。これは導入前の整理であり、ソフトの設定や安全性検証の代わりにはなりません。 技術メモ：Policy Proverの結果をどう扱うか v0.1.6の公式資料では、上限の方針と候補の方針を比較するboundary checkと、新たなネットワーク規則のproposal risk checkを区別しています。一方に通ることは、もう一方の合格を意味しません。 境界確認のCLI例は次の形です。これは公式資料の構文を示す未実行例です。この記事でファイルを作成したり、コマンドを実行した結果ではありません。 openshell-prover check candidate.yaml --boundary boundary.yaml within_boundaryは検査対象の範囲での合格です。exceeds_boundary、error、unsupported、inconclusiveは合格扱いにしません。現在のモデルはファイル、プロセス、Landlock、ネットワーク接続、REST要求を扱い、GraphQLやMCPなど対応外の規則があれば検査できないことを返すと説明されています。モデル化された範囲の保証を、システム全体の安全性保証へ広げないことが実装上の要点です。 導入前の確認メモには、使う版、境界方針、候補方針、結果とcoverage、未検証の規則を残すと、次の担当が判断を追えます。秘密のトークンを記録する必要はありません。 まとめ NVIDIAの提案は、AIの賢さに加え、実行できる範囲を外側から管理する設計です。複数のAIや道具をつなぐほど、能力・権限・確認を分けておく意味が大きくなります。9月の発表を、11月の新発表として扱う記事ではありません。 出典（2026年11月1日確認） NVIDIA Newsroom「Open Agent Safety Platform」2026年9月28日。 NVIDIA Technical Blog「NVIDIA Open Agent Safety Platform: A Reference for Continuous In-Silicon Agent Monitoring」2026年9月28日。 NVIDIA OpenShell公式ドキュメント：Overview／Policy Prover（既定版v0.1.6）。 NVIDIA/OpenShell公式GitHub：公開コードとライセンス。 一次資料のリンク： - nvidianews.nvidia.com - docs.nvidia.com - docs.nvidia.com - NVIDIA/OpenShell 文章業務の依頼文と確認手順を整理したい方へ 実務プロンプトと運用手順マニュアルのサービスでは、文章業務1種類の指示文と人の確認点をまとめます。OpenShell導入・API実装・セキュリティ監査を追加で請け負う案内ではありません。