NextFlow-执行者(Executors)
1 执行者
在Nextflow框架体系结构中,执行程序是确定运行管道进程并监督其执行的系统的组件。
所述执行器提供了流水线过程和底层执行系统之间的抽象。这使您可以独立于实际的处理平台编写管道功能逻辑。
换句话说,只需更改Nextflow配置文件中的执行程序定义,您就可以编写管道脚本一次,并使其在计算机,集群资源管理器或云上运行。
1.1 本地
在本地执行默认情况下使用。它在启动Nextflow的计算机中运行管道进程。通过产生多个线程并利用CPU提供的多核体系结构来使进程并行化。
在常见的使用场景中,本地执行程序对于在计算机中开发和测试管道脚本很有用,当需要在生产数据上运行它时,可以切换到群集工具。
1.2 其他组件支持
- SGE:您可以通过使用
SGE
来运行你的脚本管道的Sun Grid Engine 群集或兼容的平台 - LSF:这个
LSFExecutor
允许您使用平台LSF集群 - SLURM:这个
SLURM
执行程序允许您运行管道脚本,方法是使用SLURM资源管理器。、 - PBS/Torque:这个
PBSExecutor
允许您使用属于PBS/Torque批量调度器家族。 - Moab:这个
Moab
执行程序允许您运行管道脚本,方法是使用Moab资源管理器自适应计算. - NQSII:这个
NQSII
执行程序允许您运行管道脚本,方法是使用NQSII资源管理器。 - HTCondor:这个
HTCondor
执行程序允许您运行管道脚本,方法是使用HTCondor资源管理器。 - Ignite:这个
Ignite
执行程序允许您使用Apache Ignite嵌入Nextflow运行时的集群技术。 - Kubernetes:Nextflow提供了对
Kubernete
s:Nextflow聚类技术它允许您在Kubernetes集群中部署和透明运行Nextflow管道。 - AWS Batch:Nextflow支持
AWS Batch
服务,它允许在云中提交作业,而不必分拆和管理一组虚拟机。AWS Batch处理使用Docker容器来运行任务,这使得部署管道更加简单。 - Google Pipelines:基因组管道(Genomics Pipelines)是一种托管计算服务,允许在GoogleCloud平台基础结构中执行容器化工作负载。
- GA4GH Tes:这个任务执行模式(工商业污水附加费)
GA4GH
标准化计划是为以可移植的方式描述批处理执行任务而定义标准化模式和API的工作。