S3

本文件涵盖在 Server CE 和 CEP 中设置 S3 的内容。A 单独的指南 可用于将现有数据迁移到兼容 S3 的存储。

何时考虑使用 S3 进行数据存储

对于少于 1000 个席位的实例，我们建议使用本地磁盘存储并定期进行 一致的备份.

对于超过 1000 个席位且达到本地存储（容量或吞吐量）限制的较大实例，我们建议使用兼容 S3 的对象存储后端，而不是像 NFS 这样的其他基于网络的存储解决方案。

兼容 S3 的对象存储选项

以下是最流行的兼容 S3 的对象存储选项：

• AWS S3, 托管的，当在 AWS 上运行 Overleaf CE/Server Pro 时我们建议选择 AWS S3

• MINIO, 自托管的

• Ceph, 自托管的

• 其他托管提供商也有某种托管的兼容 S3 的对象存储，当已经在此类提供商上运行 Overleaf CE/Server Pro 时，您可能希望使用这些提供商而不是自行部署。

选择兼容 S3 的对象存储时的延迟考虑因素

Server CE/Server Pro 实例与兼容 S3 的对象存储之间的延迟是完成迁移所需时间的重要因素。延迟还会影响 Server CE/Server Pro 中的文件上传性能，较慢的文件下载也会对 PDF 编译时间产生重大影响。我们建议尽量缩短 Server CE/Server Pro 实例与兼容 S3 的对象存储之间的地理距离。在托管环境中，这意味着在相同区域中配置存储桶；对于本地部署解决方案，则应在同一园区运行两者。

S3 设置

我们需要四个“存储桶”和两个受限用户帐户。

存储桶应当 不应 可公开访问

存储桶	用途	服务	之前位于 /var/lib/overleaf/data
overleaf-user-files	项目用户文件	文件存储	user_files
overleaf-template-files	模板文件	文件存储	template_files
overleaf-project-blobs	项目历史 blobs	历史和只读文件存储	history/overleaf-project-blobs
overleaf-chunks	历史 chunks	历史	history/overleaf-chunks

您可能想/需要选择不同的名称，请确保在所有命令中使用自定义存储桶。

以下将对实际凭据使用占位符：

环境变量	说明
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID	文件存储服务受限用户的访问密钥/用户名。
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY	文件存储服务受限用户的密钥/密码。
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID	历史服务受限用户的访问密钥/用户名。
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY	历史服务受限用户的密钥/密码。

Server CE 和 Server Pro 仅在每个存储桶上需要一小部分权限：

• 创建对象

• 获取对象

• 删除对象

• 列出存储桶

访问策略

下面是文件存储用户策略可能的示例：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files/*"
    }
  ]
}

下面是历史用户策略可能的示例：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks/*"
    }
  ]
}

变量概览

使用 AWS S3 时

# 为文件存储启用 S3 后端
OVERLEAF_FILESTORE_BACKEND=s3

# 项目文件的存储桶名称
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# 模板文件的存储桶名称
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# 文件存储用户的密钥
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# 文件存储用户的密钥（secret）
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# 创建存储桶时选择的区域。
OVERLEAF_FILESTORE_S3_REGION=""

# 为历史启用 S3 后端
OVERLEAF_HISTORY_BACKEND=s3

# 项目历史 blobs 的存储桶名称
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# 历史 chunks 的存储桶名称
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# 历史用户的密钥
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# 历史用户的密钥（secret）
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# 创建存储桶时选择的区域。
OVERLEAF_HISTORY_S3_REGION=""

使用自托管选项时

# 为文件存储启用 S3 后端
OVERLEAF_FILESTORE_BACKEND=s3

# 项目文件的存储桶名称
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# 模板文件的存储桶名称
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# 文件存储用户的密钥
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# 文件存储用户的密钥（secret）
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# S3 提供商端点
OVERLEAF_FILESTORE_S3_ENDPOINT=http://10.10.10.10:9000

# 存储桶的路径样式寻址。很可能需要将此设置为 "true"。
OVERLEAF_FILESTORE_S3_PATH_STYLE="true"

# 存储桶区域。大多数情况下您无需配置此项。
OVERLEAF_FILESTORE_S3_REGION=""

# 为历史启用 S3 后端
OVERLEAF_HISTORY_BACKEND=s3

# 项目历史 blobs 的存储桶名称
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# 历史 chunks 的存储桶名称
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# 历史用户的密钥
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# 历史用户的密钥（secret）
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# S3 提供商端点
OVERLEAF_HISTORY_S3_ENDPOINT=http://10.10.10.10:9000

# 存储桶的路径样式寻址。很可能需要将此设置为 "true"。
OVERLEAF_HISTORY_S3_PATH_STYLE="true"

# 存储桶区域。大多数情况下您无需配置此项。
OVERLEAF_HISTORY_S3_REGION=""

MINIO 设置

MINIO_ROOT_USER 和 MINIO_ROOT_PASSWORD 是 MINIO 实例的根凭据。

请遵循 官方文档 以获取一份 mc.

mc alias set s3 http://10.10.10.10:9000 MINIO_ROOT_USER MINIO_ROOT_PASSWORD

# 将前一节中的策略内容放入
# 各自的 json 文件 policy-filestore.json 和 policy-history.json。

# 提醒：相应地替换存储桶名称和凭据。

# 文件存储存储桶、用户和策略
mc mb --ignore-existing s3/overleaf-user-files
mc mb --ignore-existing s3/overleaf-template-files
mc admin user add s3 \
  OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID \
  OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-filestore policy-filestore.json
mc admin policy attach s3 overleaf-filestore \
  --user=OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID

# 历史存储桶、用户和策略
mc mb --ignore-existing s3/overleaf-project-blobs
mc mb --ignore-existing s3/overleaf-chunks
mc admin user add s3 \
  OVERLEAF_HISTORY_S3_ACCESS_KEY_ID \
  OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-history policy-history.json
mc admin policy attach s3 overleaf-history \
  --user=OVERLEAF_HISTORY_S3_ACCESS_KEY_ID