秒级采集 × 万级点位 × 两万亿条数据管理，「红河复烤」复烤工艺数字化实践
小T导读：红河烟叶复烤有限公司于 2024 年 9 月完成了易地技术改造并投产了数字化新厂区。 新厂区建成了全国首家应用加长型智能烤片机的复烤生产线，年加工能力提升至 60 万担烟叶。公司通过部署原料收储与复烤生产协同运营系统（IMOM），实现了从原料收储到生产的全流程智能化管理。烟叶复烤加工过程中通过引入 TDengine TSDB 时序数据库，实现了海量数据的实时低成本存储，是数字化转型和智能制造升级中的关键一步。
背景和痛点
复烤是烟草产业链中承上启下的关键环节，位于农业（烟叶种植）与工业（卷烟生产）之间，被视为“烟草初加工”的核心。它的业务专业性非常强，可以理解成是 “烟叶的定型和品质升华” 的工厂：来自各产区的原烟虽然经过初烘，但水分不均、杂质较多、品质不稳定，尚不能直接用于卷烟生产。通过复烤环节，这些原烟被进一步清理、调湿、定型，最终产出符合卷烟厂制丝工序要求的片烟，为后续工业生产提供标准、均匀、稳定的原料基础。
复烤是典型的流程型生产，其产生的数据特点与制丝类似，但又有其独特性：
- 数据源密集并且采集频率高
复烤生产线由真空回潮机、打叶风分、复烤机、预压打包机等多类设备组成，每类设备又部署了大量传感器，包括温度、湿度、压力、流量、风速、电机电流等关键参数。为实现对工艺的精确控制，采样往往需要达到秒级甚至更高频率，使得整条复烤产线每秒可产生数十万级的时序数据。
- 强时序性与工艺强关联
复烤过程中的所有数据都严格伴随时间戳产生，呈现高度连续的时序特征。各类工艺参数——如复烤机不同温区的温度、湿度变化——会直接影响“配方片烟”的含水率、色泽和香气等关键质量指标。因此，必须能够精确追溯每一批烟叶在加工过程中经历的完整工艺曲线，以保障品质稳定与工艺优化。
- 写入压力巨大
系统需要在生产过程中不间断地写入海量数据，是典型的写入密集型应用。传统关系型数据库在面对这种持续洪峰写入时，性能会急剧下降，成为系统瓶颈。
TDengine TSDB 优势
TDengine TSDB 作为复烤厂数字化转型与智能制造升级的核心底座，在于复烤工艺的数据特性与 TDengine 的性能优势高度契合，实现了从数据采集到工艺优化的全链路支撑。
- 国产化替代：TDengine TSDB 为 100% 国产自主研发，核心代码开源，已适配麒麟、统信、凝思等国产 Linux 操作系统，全面满足政府与企业的信息安全及国产化替代要求。
- 零代码数据采集：TDengine TSDB 自带的 taosX 工具可以直接从 OPC UA server 上采集数据。通过 taosExplorer 管理页面图形化配置 taosX 的数据采集任务，并可以实现采集点位的动态更新。
- 高性能写入：TDengine TSDB 为每个数据采集点创建独立的表，采用列式存储和追加写入模式。这种专为时序数据设计的架构，使其写入效率比通用数据库高出一个数量级，能够轻松承接复烤车间所有传感器产生的数据流。
- 超高压缩比：时序数据具有高度冗余性。TDengine 采用了针对性的压缩算法。在复烤车间场景下，压缩比通常可达 10% 甚至更高，这意味着存储空间节省 90% 以上，大幅降低了长期归档与历史数据留存的成本。
TDengine TSDB 落地实践
我们从 2021 年起就部署并使用 TDengine 时序数据库了，当时采用的是 2.6 版本，集群由 3 台服务器组成，其中包括 2 个数据节点和 1 个仲裁节点。单机配置为 CPU 56 核、内存 256GB、磁盘 14TB。依托 TDengine 的高压缩率，我们在这一套配置下长期稳定地存放了 SCADA 系统产生的超过两万亿条时序数据。
本次根据红河复烤公司IMOM建设的数据采集需求，我们新增部署了一台 TDengine TSDB 3.3 节点，进一步提升了系统的接入与分析能力。新版不仅支持零代码 OPC UA 数据采集，也提供了更丰富的查询语法与计算函数，能够更好地支撑复烤工艺的实时监控与质量分析。
新节点的硬件配置为：64 核处理器、256GB 内存、47TB 存储空间，运行麒麟 V10 SP3 操作系统。
零代码 OPC UA 数据采集配置步骤如下：
1. 通过 CSV 文件配置 OPC UA 数据采集的点位信息，示例如下：
2. 在 taosExplorer Web 界面配置数据采集任务。检测连通性，与 OPC UA 联通后，将 CSV 文件上传。初期我们配置了 10 个采集任务，每个任务大约 2000 点位。
3. 采集任务选择 observer 模式，按 1s 间隔轮询读取最新值写入到数据库里面。
4. 在采集任务运行过程中，可实时查看数据采集及写入的记录数。
5. 通常情况下，一个采集点会对应存放在一张子表中。但在需要按设备或工段进行集中管理时，也可以采用多列模型：先手动创建包含多字段的超级表，将多个点位的数据按字段写入同一张宽表，实现更紧凑的建模方式。
落地效果
我们选择 TDengine TSDB，并非单纯更换一套数据库，而是基于复烤核心业务数据特性开展的一次技术架构升级。它帮助复烤车间从“数据负担”（高存储成本、慢查询、难分析）走向“数据资产”（易存储、快查询、可分析）。通过全面解决海量时序数据在采集、存储与计算环节的性能瓶颈，TDengine TSDB 使复烤工艺的生产过程更加数字化、透明化和智能化，从而支撑产品质量稳定、工艺参数优化与运营成本下降等关键目标的实现。
1. 采集到的（出料烟叶含水率，出料烟叶温度，工艺流量等）数据展示：
2. 通过 SQL 语句直接查询各点位的数据：
运行优化与问题分析
1. 点位数据缺失
复烤厂的数据写入由 taosX 通过 OPC UA 方式完成，采集模式采用 observe，以秒级频率定时拉取。但在实际运行中我们发现部分点位存在数据缺失。排查后定位到 task.id:8：该任务一次性配置了超过 1 万个点位，负载过高，导致采集不稳定。我们将其拆分为 6 个任务，每个任务约 2000 个点位，显著降低单任务压力。同时将每个任务的 batchSize 从 10000 调整为 1000，以减少批处理延迟并提升采集成功率。
2. 点位数据间隔超预期
采集任务按 1 秒周期执行，但在实际监测中我们发现部分点位的采集间隔明显超过 1 秒：
我们开启采集任务的“保存原始数据”高级选项，并结合 opc.log 进行分析：
日志显示：单次采集在 1 秒内无法完成，从发起请求到 OPC Server 返回数据往往需要约 3 秒，期间还出现多次 5 秒超时导致本轮采集失败的情况。这类问题根因在于 OPC Server 的处理能力不足，无法支撑秒级高频采集需求。为保证采集实时性，需要提升 OPC Server 的硬件配置，或通过增加 Server 实例数量来分担负载。
未来规划与升级方向
我们目前使用的 TDengine TSDB 版本为 3.3.4.10，其流计算能力尚不支持嵌套查询，也不支持虚拟表。而在最新版本中，这两项能力均已完善：流计算支持更复杂的嵌套逻辑，新版本 TSDB 也提供了虚拟表功能。
在现有业务中，我们已遇到多个需要新版本能力才能实现的场景，例如：
- 多个流计算任务需将结果写入同一张目标表；
- 需要检测“温度超过 80°C 并持续 10 分钟”的复杂规则，并生成实时告警。
这些需求都依赖新版本流计算引擎才能高效落地。目前我们正在进行相关测试，测试完成后将计划升级至最新版本 3.3.8。
TDengine TSDB 新版本流计算具有以下特性：
- 数据分级存储与智能降采样：工业设备每秒生成数万条原始数据，通过流计算实现降采样后存储，可大幅降低存储空间。
- 预计算加速实时决策：用户查询全量数据时，可能需扫描百亿级别数据，很难实时获取查询结果，通过流计算的结果进行查询可快速实时响应。
- 异常检测和低延迟告警：异常检测、监控报警，需要根据规则低延迟地获取特定数据，传统批处理延迟较大，采用流计算可快速告警。
对复烤业务来说，新版本带来的这些能力，正是我们下一阶段持续优化所需要的。
关于红河烟叶复烤有限公司
红河烟叶复烤有限公司成立于 2003 年 8 月 8 日，位于云南省弥勒市产业园区红河路 2 号。公司主要从事烟叶分选、复烤加工及仓储，红河烟叶复烤有限公司 2024 年 9 月易地技改顺利投产，标志着覆盖打叶复烤、片烟醇化、卷烟制造、工商物流的现代烟草产业园区初步成形。
关于作者
普轶，参与红河烟叶复烤有限公司 IMOM 建设，长期从事工厂信息化规划设计、系统集成、数据治理、实施及维护。
