AI Eval in CI
Test AI agents and LLM outputs the same way you test code — automated evaluations that run in CI, compare against baselines, and fail the build when quality drops. No dashboards to check manually. Just npx eval run ci and a red or green build.
概要
The AI Eval in CI skill, part of the TerminalSkills/skills repository (which has earned 71 stars), provides a framework for integrating Large Language Model (LLM) evaluation directly into continuous integration workflows. It allows developers to treat AI output testing with the same rigor as traditional software unit tests. By executing the command `npx eval run ci`, the tool performs automated evaluations and compares current results against established performance baselines. If the quality of the AI agent's response falls below the defined threshold, the CI build is triggered to fail, preventing regressions. This approach eliminates the need for manual dashboard monitoring by providing a binary pass/fail status within the developer's existing terminal-based or automated environment.
ユースケース
導入方法
# Review source first
open https://github.com/TerminalSkills/skills/blob/main/skills/ai-eval-ci/SKILL.mdCopy or clone the skill folder into your agent skills directory after reviewing its instructions and scripts.
セキュリティ
This skill operates within the user's CI environment and interacts with external LLM APIs as configured by the user. It requires appropriate permissions to execute shell commands and access the source repository. Users should ensure that API keys and sensitive data used during the evaluation process are managed securely through environment variables or CI secrets, as the tool facilitates automated testing across various AI agents including Claude and Gemini.
関連Skills
CI Cd And Automation
addyosmani/agent-skills
CI/CDパイプラインのセットアップを自動化します。ビルドおよびデプロイパイプラインの設定や変更時に使用します。クオリティゲートの自動化、CIでのテストランナーの設定、またはデプロイ戦略の確立が必要な場合に使用してください。
Protected Vercel Deployments
vercel-labs/agent-browser
Vercel Authentication、SSO、または Deployment Protection で保護された Vercel デプロイメントに agent-browser でアクセスしてテストします。プレビューまたは本番の URL が Vercel ログインページにリダイレクトされる場合、保護による 401 または 403 エラーを返す場合、あるいは静的なバイパスシークレットや公開例外の代わりに短期間の Trusted Sources OIDC 認証が必要な場合に使用します。
Agent Browser
vercel-labs/agent-browser
AIエージェント向けのブラウザ自動化CLIです。ページの移動、フォーム入力、ボタンのクリック、スクリーンショットの取得、データ抽出、ウェブアプリのテスト、またはあらゆるブラウザタスクの自動化など、ユーザーがウェブサイトを操作する必要がある場合に使用します。トリガーには、「ウェブサイトを開く」、「フォームに入力する」、「ボタンをクリックする」、「スクリーンショットを撮る」、「ページからデータをスクレイピングする」、「このウェブアプリをテストする」、「サイトにログインする」、「ブラウザ操作を自動化する」、またはプログラムによるウェブ操作を必要とするあらゆるタスクが含まれます。また、...に使用します。
Agents SDK
cloudflare/skills
Agents SDKを使用してCloudflare Workers上にAIエージェントを構築します。ステートフルなエージェント、Durable Workflows、リアルタイムWebSocketアプリ、スケジュール済みタスク、MCPサーバー、チャットアプリケーション、音声エージェント、またはブラウザ自動化を作成する際にロードしてください。Agentクラス、状態管理、呼び出し可能なRPC、Workflows、永続的な実行、キュー、リトライ、オブザーバビリティ、およびReactフックをカバーしています。事前学習済みの知識よりもCloudflareドキュメントからの検索（retrieval）を優先します。
Cloudflare
cloudflare/skills
Workers、Pages、ストレージ（KV、D1、R2）、AI（Workers AI、Vectorize、Agents SDK）、フィーチャーフラグ（Flagship）、ネットワーキング（Tunnel、Spectrum）、セキュリティ（WAF、DDoS）、および infrastructure-as-code（Terraform、Pulumi）を網羅する包括的な Cloudflare プラットフォームスキルです。あらゆる Cloudflare 開発タスクに使用できます。学習済みの知識よりも Cloudflare ドキュメントからの情報取得を優先します。
Cloudflare Email Service
cloudflare/skills
Cloudflare Email Service（Email Sending + Email Routing）を使用して、トランザクションメールの送受信を行います。メール送信（Workers bindingまたはREST API）、Email Routing、エージェントのSDKメール処理の構築、またはWorkers、Node.js、Python、Goなどのあらゆるアプリへのメール統合に使用します。また、メールの到達性、SPF/DKIM/DMARC、wranglerのメール設定、MCPメールツール、またはコーディングエージェントがメールを送信する必要がある場合にも使用します。「Workerにメールを追加して」といった単純なリクエストであっても、このスキルには重要な設定が含まれています。