AI-Powered Windows Automation Platform
AI 驱动的 Windows 窗口自动化平台 - 你的智能编程监管者
🔗 GitHub: https://github.com/onebai123/AutoWinTap
AutoWinTap 是一款面向 AI 编程领域 的开源效率工具，通过实时监控多个 Windows 窗口，结合 AI 分析能力，自动检测错误、提供调试建议、执行自动化操作，让开发者专注于编码本身。
AI 编程个人提效工具 · Windows 自动化 · 编程监管者
📷 窗口截图 → 🔍 OCR识别 → 🤖 AI分析 → 🚨 任务偏离告警 → 💡 编码指令 → ⚡ 自动执行 ➜ 🎯 项目稳定交付 / 效率提升
| 模式 | 说明 | 状态 |
|---|---|---|
| 🧑💻 个人提效 | 单人单机，监控多个开发窗口，AI 辅助调试 | ✅ 可用 |
| 📂 多项目并行 | 同时监控多个项目窗口，快速切换上下文 | ✅ 可用 |
| 🤖 群控托管 | 批量管理多窗口，自动化任务编排 | 🔜 规划中 |
💡 愿景：让 AI 成为你的第二双眼睛，时刻监控你的开发环境，在问题发生时主动提醒并给出解决方案。
| 特性 | 说明 |
|---|---|
| 🔍 智能监控 | 实时监控浏览器、编辑器、终端等多个窗口，OCR 提取内容 |
| 🤖 AI 分析 | 自动检测错误，AI 理解上下文并给出修复建议 |
| ⚡ 自动化操作 | 向任意窗口发送命令、按键序列，一键执行常用操作 |
| 📊 状态追踪 | 实时事件日志，变化检测，错误告警 |
| 🎯 多布局模式 | 自动、一主多副、双主、网格等多种布局 |
开发者痛点：
❌ 多窗口来回切换，容易遗漏报错
❌ 报错信息散落各处，排查困难
❌ 重复操作（保存→编译→刷新）耗费精力
❌ 无法同时关注多个窗口的状态
AutoWinTap 解决方案：
✅ 一屏监控所有关键窗口
✅ AI 自动检测并分析错误
✅ 一键执行常用操作序列
✅ 实时事件推送，不错过任何异常
┌─────────────────────────────────────────────────────────────────┐
│ AutoWinTap 工作台 [实时🔘] [AI分析] [设置] │
├─────────────────────────────────┬───────────────────────────────┤
│ 🔵 browser 前端页面 │ 📋 状态 & 事件 │
│ ┌───────────────────────────┐ │ ┌───────────────────────────┐│
│ │ │ │ │🔴 错误 检测到 TypeError ││
│ │ [实时截图] │ │ │🟢 正常 内容已更新 ││
│ │ │ │ │⚡ 命令 执行 npm build ││
│ └───────────────────────────┘ │ │⚪ 空闲 窗口无变化 ││
│ [输入命令... ][发送] │ └───────────────────────────┘│
├─────────────────────────────────┼───────────────────────────────┤
│ 🟢 editor VSCode │ 🤖 AI 分析 │
│ ┌───────────────────────────┐ │ 状态: 发现编译错误 │
│ │ [实时截图] │ │ 问题: TypeError at line 42 │
│ └───────────────────────────┘ │ 建议: 检查变量类型... │
├─────────────────────────────────┼───────────────────────────────┤
│ 🟠 terminal 命令行 │ ⌨️ 快捷命令 │
│ ┌───────────────────────────┐ │ [💾保存][🔄刷新][⏹停止] │
│ │ [实时截图] │ │ [📥git pull][📦npm i][🚀dev] │
│ └───────────────────────────┘ │ │
└─────────────────────────────────┴───────────────────────────────┘
| 工作台 | 首页 |
|---|---|
 |
 |
┌──────────────────────────────────────────────────────────────────┐
│ 用户浏览器 │
│ http://localhost:3000 │
└────────────────────────────┬─────────────────────────────────────┘
│
▼
┌──────────────────────────────────────────────────────────────────┐
│ AutoWinTap Server │
│ ┌────────────┐ ┌────────────┐ ┌────────────┐ ┌────────────┐ │
│ │ 工作台 │ │ AI 分析 │ │ 设备管理 │ │ API 路由 │ │
│ │ 页面 │ │ 服务 │ │ 服务 │ │ 层 │ │
│ └────────────┘ └────────────┘ └────────────┘ └────────────┘ │
│ Next.js 15 + React 19 │
└────────────────────────────┬─────────────────────────────────────┘
│ HTTP API
▼
┌──────────────────────────────────────────────────────────────────┐
│ AutoWinTap Agent │
│ ┌────────────┐ ┌────────────┐ ┌────────────┐ ┌────────────┐ │
│ │ 窗口控制 │ │ 截图服务 │ │ OCR 引擎 │ │ 按键发送 │ │
│ │ Win32 API │ │ PrintWin │ │ Windows │ │ SendInput │ │
│ └────────────┘ └────────────┘ └────────────┘ └────────────┘ │
│ C# .NET 8 + Win32 API │
└──────────────────────────────────────────────────────────────────┘
│
▼
┌──────────────────────────────────────────────────────────────────┐
│ Windows 桌面环境 │
│ [ 浏览器 ] [ 编辑器 ] [ 终端 ] [ ... ] │
└──────────────────────────────────────────────────────────────────┘
- Windows 10/11
- .NET 8.0 Runtime
- Node.js 18+
- AI API (OpenAI/Gemini 兼容接口)
# 克隆仓库
git clone https://github.com/onebai123/AutoWinTap.git
cd autowintap
# Windows 双击运行
start-all.bat| 脚本 | 说明 |
|---|---|
start-all.bat |
一键启动 Server + Agent |
stop-all.bat |
停止所有服务 |
start-chrome-debug.bat |
启动 Chrome 调试模式 |
# 1. 启动 Server
cd server
npm install
npm run dev
# 2. 启动 Agent (新终端)
cd agent
dotnet run --project WinTabAgent
# 3. 打开浏览器访问 http://localhost:3000- 打开设置页面 (
http://localhost:3000/settings) - 填入 AI API 地址和密钥
- 选择模型 (推荐 gpt-4o 或 gemini-pro)
| 版本 | 定位 | 功能 | 状态 |
|---|---|---|---|
| v1.0 | 个人版 | 单机多窗口监控 + AI 分析 + 自动化 | 🚧 开发中 |
| v2.0 | 群控版 | 批量操作 + 窗口分组 + 任务编排 | 📋 规划中 |
| v3.0 | 多机版 | 多机管理 + 远程控制 + 团队协作 | 📋 远期 |
| 层级 | 技术 |
|---|---|
| 前端 | Next.js 15, React 19, TypeScript, Ant Design 5 |
| 后端 | Next.js API Routes, Prisma ORM |
| 数据库 | SQLite (开发) / PostgreSQL (生产) |
| Agent | C# .NET 8, Win32 API, Windows OCR |
| AI | OpenAI API / Gemini API (兼容接口) |
autowintap/
├── server/ # Next.js 服务端
│ ├── src/app/ # 页面和 API
│ ├── prisma/ # 数据库模型
│ └── package.json
├── agent/ # Windows Agent
│ ├── WinTabAgent/ # 主程序
│ └── Plugins/ # 插件系统
├── docs/ # 文档
├── start-all.bat # 一键启动
├── stop-all.bat # 停止服务
└── README.md
欢迎贡献代码！
- Fork 本仓库
- 创建功能分支 (
git checkout -b feature/AmazingFeature) - 提交更改 (
git commit -m 'Add AmazingFeature') - 推送分支 (
git push origin feature/AmazingFeature) - 发起 Pull Request
本项目采用 GPL-3.0 License 开源协议。
- Next.js - React 框架
- Ant Design - UI 组件库
- Windows.Media.Ocr - OCR 引擎
AutoWinTap is an open-source AI-powered programming efficiency tool. It monitors multiple Windows windows in real-time, combines AI analysis capabilities to automatically detect errors, provide debugging suggestions, and execute automated operations.
💡 Vision: Let AI be your second pair of eyes, constantly monitoring your development environment and proactively alerting you when issues occur.
- 🔍 Smart Monitoring - Real-time monitoring of browsers, editors, terminals with OCR
- 🤖 AI Analysis - Auto-detect errors, AI understands context and provides fixes
- ⚡ Automation - Send commands/keystrokes to any window
- 📊 Status Tracking - Real-time event logs, change detection, error alerts
# Clone
git clone https://github.com/onebai123/AutoWinTap.git
cd autowintap
# One-click start (Windows)
start-all.bat
# Or manual start
cd server && npm install && npm run dev
cd agent && dotnet run --project WinTabAgent
# Open http://localhost:3000GPL-3.0 License - see LICENSE for details.
⭐ Star this repo if you find it useful! ⭐
Made with ❤️ by AutoWinTap Team