标记工具doccano私有化部署及二次开发

什么是doccano？

doccano 是一种面向机器学习从业者的开源数据标记工具。您可以使用多种数据格式执行不同类型的标记任务。

背景

当时所在的组是AI技术组，算法同学分析客服与客户的对话，从而进行自然语言处理（NLP）研究；所以需要一个工具，来标记对话中的文本是积极的还是消极的，作为算法的数据源来分析；正好开源工具doccano基本符合我们的需求，有特殊的需求，前端可以自己进行二次开发；

因此需要进行私有化部署以及二次开发；

私有化部署

doccano后端使用Python来实现的，前端使用nuxt来实现的。一起通过docker提供服务。

部署架构设计

私有化部署按照文档流程来进行就可以了。由于该开源工具提供的服务是前后端都在一个docker容器里启动，提供服务的。为了保证服务稳定性而且要满足可以二次开发，我设计的部署架构如下图所示。这样用户访问的前端是前端自己二次开发的仓库，调用的接口是开源工具私有化部署的docker服务；

前端二次开发

在doccano中把前端仓库frontend拷贝出来就可以二次开发，然后单独部署提供前端服务了。

前端部署脚本改动：

为了提高服务的稳定性已经增加服务启动、停止、报错等日志记录功能。通过pm2来启动服务。

新增文件pm2.config.js

javascript

// pm2 start pm2.config.js
module.exports = {
  apps: [
    {
      name: 'doccano-frontend',
      script: './node_modules/nuxt/bin/nuxt.js',
      args: 'start',
      cwd: './', // current workspace
      // watch: [
      //   // watch directorys and restart when they change
      //   '.nuxt'
      // ],
      ignore_watch: [
        // ignore watch
        'node_modules',
        'logs',
        'static'
      ],
      max_memory_restart: "2G",
      instances: 2,  // start 2 instances
      node_args: '--harmony',
      exec_mode: 'cluster',
      autorestart: true,
      watch: false,
      env: {
        NODE_ENV: 'development'
      },
      env_production: {
        NODE_ENV: 'production'
      },
      // env: {
      //   NODE_ENV: process.env.NODE_ENV,
      // },
      out_file: './logs/out.log', // normal log
      error_file: './logs/err.log', // error log
      merge_logs: true,
      log_date_format: 'YYYY-MM-DD HH:mm Z' // date format
    }
  ]
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

然后在package.json中增加scripts脚本命令，这样方便启动服务

"scripts": {
    "lint": "eslint --ext .ts,.js,.vue --ignore-path .gitignore .",
    "lintfix": "eslint --fix --ext .ts,.js,.vue --ignore-path .gitignore .",
    "precommit": "yarn lint",
    "test": "jest",
    "dev": "nuxt",
    "pm2": "pm2 start pm2.config.js",
    "build": "nuxt build",
    "start": "nuxt start",
    "generate": "nuxt generate"
  },