Javascript Sdk

⚡ 150+ AI 模型,一行代码集成

inference.sh 官方 JavaScript/TypeScript SDK,支持 150+ AI 模型、智能体构建、流式输出与文件上传,提供完整的类型安全与多框架代理支持。

收藏
9.4k
安装
2.3k
版本
0.1.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心功能

@inferencesh/sdk 是 inference.sh 平台的官方 JavaScript/TypeScript SDK,专为 Node.js 和现代浏览器环境设计。核心能力包括:

1. 多模型推理执行

  • 支持 150+ 预置 AI 应用(Flux 图像生成、Veo 视频、Claude/GPT 系列等)
  • 同步/异步执行模式(wait: false 实现 Fire-and-Forget)
  • 实时流式输出(SSE 进度追踪)

2. 智能体(Agent)构建

  • 模板模式:直接调用工作区预置智能体
  • 临时模式:程序化构建自定义 Agent,支持 Claude Sonnet 4、GPT-4o 等核心模型
  • 内置工具系统:客户端工具、应用工具(调用其他 AI 应用)、子智能体委派、Webhook 集成

3. 高级特性

  • 有状态会话(Sessions):保持工作进程温热,降低冷启动延迟
  • 人工审批工作流:敏感操作需用户确认
  • Skills 系统:可复用的上下文注入(Markdown 文档或远程 URL)
  • 自动文件上传:支持本地路径、浏览器 File 对象、Base64 数据

4. 安全架构

  • 前端应用强制代理模式(proxyUrl),API 密钥驻留服务端
  • 官方提供 Next.js App Router/Pages Router、Express、Hono、Remix、SvelteKit 代理中间件

5. 类型安全

  • 完整 TypeScript 定义,包含 TaskDTO、ChatDTO、AgentTool 等核心类型
  • 精细化错误处理(RequirementsNotMetException、InferenceError)

显著优点

  • 生态整合:与 inference.sh 云原生推理平台深度集成,无需自建模型服务
  • 开发体验:链式 API 设计(tool().param().build()),符合现代 JavaScript 工程习惯
  • 框架无关:底层 HTTP 客户端,上层提供 React/Vue/Svelte 友好封装
  • 成本优化:会话复用减少冷启动,流式输出降低感知延迟

潜在局限

  • 平台锁定:深度绑定 inference.sh 生态,迁移成本较高
  • 运行时限制:Node.js 18+ 要求,旧环境需 polyfill
  • 定价依赖:按量计费模式,高频调用需关注成本
  • 浏览器限制:CORS 策略下必须配置服务端代理,纯前端无法直连

适合人群

  • 构建 AI 原生应用的 JavaScript/TypeScript 开发者
  • 需要快速集成多模态能力(文生图、文生视频)的 Web 团队
  • 开发多智能体工作流(Multi-agent)的 AI 工程师
  • 寻求类型安全、可维护 AI 集成的中大型企业前端团队

常规风险

  • 密钥泄露:误将 inf_ 前缀 API 密钥提交至前端代码仓库
  • 审批绕过:未正确实现 onToolCall 回调导致敏感操作未经验证
  • 流式中断:网络波动时 SSE 连接未重连导致输出截断
  • 依赖更新:SDK 版本迭代快,需关注 Breaking Changes

技术规格

| 属性 | 说明 |
|------|------|
| 包管理 | npm/yarn/pnpm |
| 模块系统 | ESM + CommonJS 双支持 |
| 运行时 | Node.js 18+ / 现代浏览器 |
| 包体积 | ~50KB(tree-shakeable) |
| 官方文档 | https://inference.sh/docs/api/sdk-javascript |

Javascript Sdk 内容

references文件夹
手动下载zip · 29.7 kB
agent-patterns.mdtext/markdown
请选择文件