coreai-models

Core AIに、JSON形式を守りながら投機生成を使う提案が出ました！ 次のtokenをまとめて検証しつつ、構造化出力を保つ仕組みです。 現在は未マージ・greedy限定。作者の端末試験で出力一致を確認していますが、速度改善値は未提示です。 出典元：coreai-models#391

Apple's Core AI models repo is now accepting third-party contributions 🥳 If you have developed some cool ports, this is the best place to share your recipes with the community. Looking at you @JackdeS11 @mattt @kevinqz 😂 apple/coreai-models

Core AIに、文章生成を先読みして高速化する「投機的デコード」の実装案が出ています！ 小型モデルの候補を本体で確認し、まとめて採用する仕組みです。 現在は未採用の提案段階で、一般的な速度向上は未確認です。 出典元：coreai-models#386

coreai-models で最大コンテキスト2048以下で書き出した固定長KVキャッシュを誤判定し、生成崩れ・不正なJSON・実行拒否につながる不具合が修正されてる。 coreai-models#354

Core AIのLLM変換に、複数の入力をまとめて扱うバッチ出力が追加されたみたい。 ただし今回はmacOS向けの変換部分まで。新形式を動かすruntimeは後続予定っぽい。 coreai-models#334