功能

平台截图

功能列表

Crawlab 包含丰富的功能，能够帮助您完成爬虫的开发、部署、调度、监控等工作。

功能	支持版本	描述
分布式系统	全部	分布式节点管理，让爬虫程序能够在多台服务器上高效运行
爬虫管理	全部	有效管理爬虫程序，无需手动上传、监控、部署，全部自动化
任务调度	全部	轻松调度爬虫任务，实时查看爬虫程序的运行状态以及任务日志
定时任务	全部	Crontab 风格的定时任务，在指定时间自动执行爬虫任务
文件编辑	全部	在线编辑爬虫代码，支持主流编程语言高亮显示，让您轻松调试爬虫程序
消息通知	全部	可以通过邮件、钉钉、企业微信等方式接收爬虫的运行情况
依赖管理	全部	内置环境依赖管理，在界面上轻松安装爬虫所需要的第三方库
Git 集成	全部	可以直接从 Git 仓库中拉取爬虫项目代码，查看历史版本
项目管理	全部	将爬虫集合组合为项目，以更有效的管理不同类别的爬虫
API	全部	开放 API 以提供更好的生态系统集成能力
SDK	全部	Python、Go 等编程语言 SDK，轻松集成 Crawlab
CLI	全部	命令行工具，更好的与平台集成
性能监控	专业版	实时查看运行环境的 CPU、内存、磁盘、网络等性能指标
数据库集成	专业版	轻松集成 MySQL、MongoDB、ElasticSearch 等数据库
权限管理	专业版	支持用户、角色、权限管理，有效控制爬虫程序访问权限
爬虫画布（实验）	专业版	低代码、拖拉拽风格的爬虫编辑器