分布式系统
分布式节点管理,让爬虫程序能够在多台服务器上高效运行
爬虫管理
让您能有效管理爬虫程序,无需手动上传、监控、部署,全部自动化
任务调度
轻松调度爬虫任务,实时查看爬虫程序的运行状态以及任务日志
定时任务
Crontab 风格的定时任务,在指定时间自动执行爬虫任务
文件编辑
在线编辑爬虫代码,支持主流编程语言高亮显示,让您轻松调试爬虫程序
消息通知
可以通过邮件、钉钉、企业微信等方式接收爬虫的运行情况
依赖管理
内置环境依赖管理,在界面上轻松安装爬虫所需要的第三方库
Git 集成
可以直接从 Git 仓库中拉取爬虫项目代码,查看历史版本
性能监控
实时查看运行环境的 CPU、内存、磁盘、网络等性能指标
数据库集成
轻松集成 MySQL、MongoDB、ElasticSearch 等数据库
权限管理
支持用户、角色、权限管理,有效控制爬虫程序访问权限
更多新特性
包括项目管理、API、SDK、CLI、爬虫画布等