新增：hpc大文件上传优化配置提交。

2026-03-18 18:33:28 +08:00
parent c9c1ee9b06
commit 8700818092
4 changed files with 137 additions and 92 deletions
--- a/pbs/src/main/resources/application-dev-100.yml
+++ b/pbs/src/main/resources/application-dev-100.yml
@@ -1,9 +1,22 @@
 server:
  port: 7105
+  tomcat:
+    # 等待客户端发送数据的超时（毫秒）
+    connection-timeout: 60000
+    # Keep-Alive 长连接保持时间（毫秒）
+    keep-alive-timeout: 30000
+    # 异步超时（根据业务需要）
+    async-timeout: -1

 spring:
  application:
    name: pbs
+  # 关闭 Spring 的 “内存缓冲”
+  codec:
+    max-in-memory-size: -1
+  mvc:
+    async:
+      request-timeout: -1  # 🔥 关闭 Spring 异步超时（关键！）
  datasource:
    username: root
    password: mysql
@@ -34,7 +47,7 @@ spring:
  cloud:
    nacos:
      discovery:
-        server-addr: 192.168.190.190:5848
+        server-addr: 192.168.190.100:5848
        group: DEV_GROUP
        enabled: true
 #        namespace: 3
@@ -42,30 +55,27 @@ spring:
 #        password: ENC(+QKYnI6gAYu1SbLaZQTkZA==)
  data:
    redis:
-      # Redis默认情况下有16个分片(库)，这里配置具体使用的分片，默认是0
+      # 哨兵配置
+      sentinel:
+        # 建议：确保这里填写的 IP 是容器外部可访问的宿主机 IP 或 Docker 网络 IP
+        nodes: 192.168.190.163:26379,192.168.190.163:26380,192.168.190.163:26381
+        master: mymaster
+      password: spdm@2026
      database: 0
-      # redis服务器地址（填写自己的服务器地址）
-      host: 192.168.190.100
-      # redis端口（默认6379）
-      port: 5379
-      #redis连接超时等待,10秒
-      timeout: PT10S
-      # redis访问密码（默认为空）
-      password:
      lettuce:
        pool:
-          # 连接池最大连接数（使用负值表示没有限制） 默认 8
-          max-active: 50
-          # 连接池中的最大空闲连接 默认 8
-          max-idle: 20
-          # 连接池中的最小空闲连接 默认 0
-          min-idle: 1
-          # 连接池最大阻塞等待时间(使用负值表示没有限制) 默认 -1，这里配置10s
-          max-wait: PT10S
-#    password:
-#    sentinel:
-#      master: mymaster
-#      nodes: 10.18.109.50:26379,10.18.109.51:26379,10.18.109.52:26379
+          # 根据并发量调整，一般 Web 服务建议 50-100
+          max-active: 16
+          max-idle: 16            # 保持与 max-active 一致，充分利用连接池
+          min-idle: 4            # 适当调大最小空闲，避免冷启动时频繁创建连接
+          max-wait: 1000        # 获取连接最大等待时间 (ms)，保持 1s
+        # 优雅关闭时间，避免应用停止时强制切断连接
+        shutdown-timeout: 2000
+      # 超时配置
+      connect-timeout: 5000
+      # 命令执行超时时间 (默认为无限，生产环境建议设置以防死锁)
+      timeout: 5000
+
  servlet:
    multipart:
      # 单个文件的最大值
@@ -112,27 +122,28 @@ file:
 hpc:
  url: http://172.27.3.135/JSONAPI/JSONAPI.ashx
  # 这个是spdm mock执行cmd命令
-#  remoteCmdUrl: http://127.0.0.1:9097/doProcess
+  #  remoteCmdUrl: http://127.0.0.1:9097/doProcess
  # remote： hpc借助工具http远程调用，local:该服务和hpc部署在同一机器
  excuteWay: remote
-  remoteCmdUrl: http://192.168.65.55:9097/doProcess
-  remoteCreateDirUrl: http://192.168.65.55:9097/createDir
-  remoteScanDirUrl: http://192.168.65.55:9097/scanDir
-  remoteDownLoadFileUrl: http://192.168.65.55:9097/hpcDownload
-#  remoteDownLoadFileUrl: http://127.0.0.1:9097/hpcDownload
-  remoteUploadFileUrl: http://192.168.65.55:9097/uploadHpcFile
-  callHpcUpload: http://192.168.65.55:9097/addJobQueue
-  delHpcJobsUrl: http://192.168.65.55:9098/delHpcJobs
+  remoteCmdUrl: http://192.168.190.164:8097/doProcess
+  remoteCreateDirUrl: http://192.168.190.164:8098/createDir
+  remoteScanDirUrl: http://192.168.190.164:8098/scanDir
+  remoteDownLoadFileUrl: http://192.168.190.164:8098/hpcDownload
+  remoteUploadFileUrl: http://192.168.190.164:8098/uploadHpcFile
+  callHpcUpload: http://192.168.190.164:8098/addJobQueue
+  delHpcJobsUrl: http://192.168.190.164:8098/delHpcJobs
+  # 动态日志读取
+  streamlogUrl: http://192.168.190.164:8098/streamLog/%s?filePath=%s
+  stopStreamlogUrl: http://192.168.190.164:8098/stopLog/%s
  # 上传头节点文件相关的配置
  fileToHpc:
    http:
      scheme: http       # 协议（http/https）
      host: 192.168.190.164 # 目标主机
-      port: 9098         # 目标端口
+      port: 8098         # 目标端口
      path: /upFileToHpcBatch # 接口路径
      mergePath: /upFileToHpcMerge # 合并的接口路径

-
 #logging:
 #  config: ./config/logback.xml
 # pbs 作业提交相关配置
@@ -148,6 +159,7 @@ security:
      - /pbs/jobFileCallback
      - /pbs/netTest
      - /pbs/adapterSubmitHpcJob
+      - /pbs/mockHpcDownloadFile

 # xxljob 配置开始
 xxl:
--- a/pbs/src/main/resources/application-dev-190.yml
+++ b/pbs/src/main/resources/application-dev-190.yml
@@ -1,5 +1,13 @@
 server:
  port: 7105
+  tomcat:
+    # 等待客户端发送数据的超时（毫秒）
+    connection-timeout: 60000
+    # Keep-Alive 长连接保持时间（毫秒）
+    keep-alive-timeout: 30000
+    # 异步超时（根据业务需要）
+    async-timeout: -1
+

 spring:
  application:
@@ -40,32 +48,30 @@ spring:
 #        namespace: 3
 #        username: nacos
 #        password: ENC(+QKYnI6gAYu1SbLaZQTkZA==)
+
  data:
    redis:
-      # Redis默认情况下有16个分片(库)，这里配置具体使用的分片，默认是0
+      # 哨兵配置
+      sentinel:
+        # 建议：确保这里填写的 IP 是容器外部可访问的宿主机 IP 或 Docker 网络 IP
+        nodes: 192.168.190.164:26379,192.168.190.164:26380,192.168.190.164:26381
+        master: mymaster
+      password: spdm@2026
      database: 0
-      # redis服务器地址（填写自己的服务器地址）
-      host: 192.168.2.166
-      # redis端口（默认6379）
-      port: 6379
-      #redis连接超时等待,10秒
-      timeout: PT10S
-      # redis访问密码（默认为空）
-      password:
      lettuce:
        pool:
-          # 连接池最大连接数（使用负值表示没有限制） 默认 8
-          max-active: 50
-          # 连接池中的最大空闲连接 默认 8
-          max-idle: 20
-          # 连接池中的最小空闲连接 默认 0
-          min-idle: 1
-          # 连接池最大阻塞等待时间(使用负值表示没有限制) 默认 -1，这里配置10s
-          max-wait: PT10S
-#    password:
-#    sentinel:
-#      master: mymaster
-#      nodes: 10.18.109.50:26379,10.18.109.51:26379,10.18.109.52:26379
+          # 根据并发量调整，一般 Web 服务建议 50-100
+          max-active: 16
+          max-idle: 16            # 保持与 max-active 一致，充分利用连接池
+          min-idle: 4            # 适当调大最小空闲，避免冷启动时频繁创建连接
+          max-wait: 1000        # 获取连接最大等待时间 (ms)，保持 1s
+        # 优雅关闭时间，避免应用停止时强制切断连接
+        shutdown-timeout: 2000
+      # 超时配置
+      connect-timeout: 5000
+      # 命令执行超时时间 (默认为无限，生产环境建议设置以防死锁)
+      timeout: 5000
+
  servlet:
    multipart:
      # 单个文件的最大值
@@ -148,6 +154,8 @@ security:
      - /pbs/netTest
      - /pbs/adapterSubmitHpcJob
      - /pbs/testEn
+      - /redis/set
+      - /redis/get

 testEnStr: ENC(095i92PAFyJQ5kEnkiaCYReMEtw+Dwc8qnS1i7Vx0Y8=)
 testEnStr1: ENC(AtQcdulLNvaSvboZuWsXIxuCwrHyUoG3oEGtmKfDSbs=)
--- a/pbs/src/main/resources/application-dev-65.yml
+++ b/pbs/src/main/resources/application-dev-65.yml
@@ -1,9 +1,22 @@
 server:
  port: 7105
+  tomcat:
+    # 等待客户端发送数据的超时（毫秒）
+    connection-timeout: 60000
+    # Keep-Alive 长连接保持时间（毫秒）
+    keep-alive-timeout: 30000
+    # 异步超时（根据业务需要）
+    async-timeout: -1

 spring:
  application:
    name: pbs
+# 关闭 Spring 的 “内存缓冲”
+  codec:
+    max-in-memory-size: -1
+  mvc:
+    async:
+      request-timeout: -1  # 🔥 关闭 Spring 异步超时（关键！）
  datasource:
    username: root
    password: mysql
@@ -37,41 +50,37 @@ spring:
        server-addr: 192.168.65.161:8848
        group: DEV_GROUP
        enabled: true
-#        namespace: 3
-#        username: nacos
-#        password: ENC(+QKYnI6gAYu1SbLaZQTkZA==)
+  #        namespace: 3
+  #        username: nacos
+  #        password: ENC(+QKYnI6gAYu1SbLaZQTkZA==)
  data:
    redis:
-      # Redis默认情况下有16个分片(库)，这里配置具体使用的分片，默认是0
+      # 哨兵配置
+      sentinel:
+        # 建议：确保这里填写的 IP 是容器外部可访问的宿主机 IP 或 Docker 网络 IP
+        nodes: 192.168.190.163:26379,192.168.190.163:26380,192.168.190.163:26381
+        master: mymaster
+      password: spdm@2026
      database: 0
-      # redis服务器地址（填写自己的服务器地址）
-      host: 192.168.2.166
-      # redis端口（默认6379）
-      port: 6379
-      #redis连接超时等待,10秒
-      timeout: PT10S
-      # redis访问密码（默认为空）
-      password:
      lettuce:
        pool:
-          # 连接池最大连接数（使用负值表示没有限制） 默认 8
-          max-active: 50
-          # 连接池中的最大空闲连接 默认 8
-          max-idle: 20
-          # 连接池中的最小空闲连接 默认 0
-          min-idle: 1
-          # 连接池最大阻塞等待时间(使用负值表示没有限制) 默认 -1，这里配置10s
-          max-wait: PT10S
-#    password:
-#    sentinel:
-#      master: mymaster
-#      nodes: 10.18.109.50:26379,10.18.109.51:26379,10.18.109.52:26379
+          # 根据并发量调整，一般 Web 服务建议 50-100
+          max-active: 16
+          max-idle: 16            # 保持与 max-active 一致，充分利用连接池
+          min-idle: 4            # 适当调大最小空闲，避免冷启动时频繁创建连接
+          max-wait: 1000        # 获取连接最大等待时间 (ms)，保持 1s
+        # 优雅关闭时间，避免应用停止时强制切断连接
+        shutdown-timeout: 2000
+      # 超时配置
+      connect-timeout: 5000
+      # 命令执行超时时间 (默认为无限，生产环境建议设置以防死锁)
+      timeout: 5000
+
  servlet:
-    multipart:
-      # 单个文件的最大值
-      max-file-size: 500MB
-      # 上传文件总的最大值
-      max-request-size: 10240MB
+    servlet:
+      multipart:
+        max-file-size: -1
+        max-request-size: -1

 management:
  endpoints:
@@ -86,7 +95,7 @@ mybatis-plus:
  configuration:
    map-underscore-to-camel-case: true
    auto-mapping-behavior: full
-#    cache-enabled: true
+  #    cache-enabled: true
  #    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
  mapper-locations: classpath*:mapper/**/*.xml
  global-config:
@@ -134,6 +143,7 @@ hpc:
      path: /upFileToHpcBatch # 接口路径
      mergePath: /upFileToHpcMerge # 合并的接口路径

+
 #logging:
 #  config: ./config/logback.xml
 # pbs 作业提交相关配置
@@ -149,6 +159,7 @@ security:
      - /pbs/jobFileCallback
      - /pbs/netTest
      - /pbs/adapterSubmitHpcJob
+      - /pbs/mockHpcDownloadFile

 # xxljob 配置开始
 xxl:
--- a/pbs/src/main/resources/application-lyric.yml
+++ b/pbs/src/main/resources/application-lyric.yml
@@ -1,9 +1,22 @@
 server:
  port: 7105
+  tomcat:
+    # 等待客户端发送数据的超时（毫秒）
+    connection-timeout: 60000
+    # Keep-Alive 长连接保持时间（毫秒）
+    keep-alive-timeout: 30000
+    # 异步超时（根据业务需要）
+    async-timeout: -1

 spring:
  application:
    name: pbs
+  # 关闭 Spring 的 “内存缓冲”
+  codec:
+    max-in-memory-size: -1
+  mvc:
+    async:
+      request-timeout: -1  # 关闭 Spring 异步超时（关键！）
  datasource:
    username: root
    password: ENC(o5nKvbyfceJryxfBBGTi9w==)
@@ -45,7 +58,7 @@ spring:
      # Redis默认情况下有16个分片(库)，这里配置具体使用的分片，默认是0
      database: 0
      # redis服务器地址（填写自己的服务器地址）
-      host: 192.168.30.145
+      host: 192.168.2.166
      # redis端口（默认6379）
      port: 6379
      #redis连接超时等待,10秒
@@ -55,17 +68,14 @@ spring:
      lettuce:
        pool:
          # 连接池最大连接数（使用负值表示没有限制） 默认 8
-          max-active: 50
+          max-active: 16
          # 连接池中的最大空闲连接 默认 8
-          max-idle: 20
+          max-idle: 16
          # 连接池中的最小空闲连接 默认 0
-          min-idle: 1
+          min-idle: 4
          # 连接池最大阻塞等待时间(使用负值表示没有限制) 默认 -1，这里配置10s
          max-wait: PT10S
-#    password:
-#    sentinel:
-#      master: mymaster
-#      nodes: 10.18.109.50:26379,10.18.109.51:26379,10.18.109.52:26379
+
  servlet:
    multipart:
      # 单个文件的最大值
@@ -123,6 +133,9 @@ hpc:
  remoteUploadFileUrl: http://10.122.38.200:9098/uploadHpcFile
  callHpcUpload: http://10.122.38.200:9098/addJobQueue
  delHpcJobsUrl: http://10.122.38.200:9098/delHpcJobs
+  # 动态日志读取
+  streamlogUrl: http://10.122.38.200:9098/streamLog/%s?filePath=%s
+  stopStreamlogUrl: http://10.122.38.200:9098/stopLog/%s
  # 上传头节点文件相关的配置
  fileToHpc:
    http:
@@ -161,6 +174,7 @@ security:
      - /getProjectInfo
      - /mockSecondSql
      - /mockThirdSql
+      - /pbs/mockHpcDownloadFile

 # xxljob 配置开始
 xxl: