华为研发突破：智能预测用户行为，引领移动通信领域新潮流

探索未来通信科技：华为引领智能用户行为预测革命

　　 华为GTS部门的AI算法团队近期推出了一项创新成果——GTS-LUM，这一模型在移动通信用户行为建模领域取得了显著突破。通过精准的行为洞析与多跳预测技术，GTS-LUM不仅提升了对用户行为的理解深度，还为行业提供了更高效的解决方案。在对比实验中，其表现远远超越了Meta推出的HSTU以及字节跳动的HLLM，展现了强大的竞争力。 这项技术的问世无疑为电信行业的精细化运营注入了新的活力。随着用户需求的日益多样化和技术迭代速度的加快，如何准确把握用户行为模式已成为各大运营商亟待解决的核心问题之一。而GTS-LUM凭借其卓越的表现，不仅能够帮助企业更好地理解客户需求，还能有效降低运营成本，提高服务质量。这不仅是技术上的进步，更是行业服务理念的一次革新。 我认为，GTS-LUM的成功案例再次证明了技术创新对于推动行业发展的重要性。同时，这也提醒我们，在全球化竞争日趋激烈的今天，只有不断加大研发投入，才能在全球市场中占据有利位置。期待未来华为能够在更多领域带来类似的惊喜，助力整个行业的高质量发展。

　　 GTS-LUM，全称 Global Technical Service-Large User Model，主要有以下几个创新点：

　　 基于海量用户行为序列数据的自监督学习，结合多模态异构的Encoder-Adapter-LLMDecoder架构，通过Q-former构建语义空间与业务空间的知识对齐，同时引入创新的多尺度时序处理机制，进一步结合多用户运营场景进行后训练，能够精准捕捉到用户在业务层面的浅层语义特征。这种技术的应用不仅提升了模型的理解能力，还为个性化推荐和服务优化提供了坚实的技术支撑。从实际应用角度来看，这标志着人工智能在理解和响应用户需求方面迈出了重要一步，尤其是在新闻行业，它可以帮助编辑和记者更高效地分析读者偏好，从而生产出更加贴合受众需求的内容，这对于提升新闻传播效果和用户满意度具有重要意义。

　　 实验中，在各项评估指标上都明显超越基线模型，成功刷新了该领域的最新最高水平（SOTA）。

　　 以下是更多细节。

　　 随着电信市场竞争加剧，市场渗透率逐渐接近饱和状态，如何深度挖掘存量用户的价值以及有效提升用户留存率已成为运营商必须面对的核心课题。 在这个阶段，运营商需要更加注重服务质量的提升和创新业务模式的探索。仅仅依靠价格战已经难以吸引和留住用户，只有通过提供差异化服务、优化用户体验以及增强品牌黏性，才能在激烈的市场竞争中占据有利位置。此外，利用大数据分析用户行为，精准推送个性化服务，也是未来发展的关键方向之一。 总之，在当前市场环境下，运营商不仅要关注短期收益，更应着眼于长期发展，以稳固的用户基础和持续的服务创新能力来应对未来的挑战。

　　 电信用户的上网行为所产生的海量数据（日均达到PB级别）逐渐演化为一种全新的数据类型。

　　 以往，运营商通过传统机器学习技术分析用户行为时，由于模型规模的限制，预测准确度面临越来越明显的瓶颈。与互联网推荐场景中的用户行为建模相比，电信领域的特殊性在于：

　　 电信服务因其作为社会基础设施的重要地位，天然承载着用户对稳定性和可靠性的高期待。这种特性使得用户的决策过程往往呈现出较长的周期性。在信息爆炸的时代，人们对于网络连接的需求已不仅仅局限于基础通信，而是延伸至工作、教育、娱乐等方方面面。因此，电信运营商不仅要关注技术的进步，还需深入理解用户深层次的需求变化，提供更加个性化和智能化的服务方案。 从长远来看，电信行业需要进一步优化用户体验，通过提升服务质量来缩短用户决策链条。同时，随着5G、人工智能等新技术的应用，行业竞争也将愈发激烈。如何在保证网络稳定性的同时，推动创新与普及并重，将是未来发展的关键所在。我认为，只有真正以用户为中心，不断探索适应新时代需求的服务模式，才能在激烈的市场竞争中立于不败之地。

　　 用户关键决策行为（如套餐变更、携号转网）更多受长期服务体验驱动（如网络稳定性、资费合理性等），与互联网场景的短期兴趣驱动机制形成本质差异。

　　 该特性令传统序列建模方法中的近期行为采样策略面临难题，若直接采用，可能会导致重要历史信息遗失，从而影响预测准确性。

　　 与互联网领域通常基于历史用户-商品交互序列来预测用户未来一段时间内商品交互的做法有所不同，在电信用户的场景中，其数据输入和预测目标展现出显著的差异性特征，具体表现为：

　　 行为数据多元化：涵盖用户与用户、产品、地理位置、推广渠道以及网络设备之间的互动信息等。

　　 时间粒度的层次性：涵盖秒级（例如实时信令）、日级（例如业务办理）、月级（例如账单）等多个维度。

　　 目标异质性：涉及用户流失预警、套餐升级预测以及营销响应建模等多项运营业务。

　　 这种复杂性使得现有技术面临几个瓶颈：

　　 1、跨时间尺度建模不足：当前序列建模方法缺少有效的时间处理机制，以捕捉用户跨日、周、月等多时间尺度下用户的长期行为演化模式；

　　 2、目前，互联网推荐技术通常依赖于商品的文本描述，但在电信领域，由于异构数据模态丰富，现有方法难以充分发挥这一优势来增强用户表征能力。若直接应用，会面临异构空间对齐的问题。

　　 3、当前，电信行业的传统方法在处理流失预警、套餐升级预测等运营任务时，往往采用独立建模的方式，这种方式不仅效率较低，还难以构建统一的模型架构来更有效地提取并关联用户的特征信息。

　　 由此，华为 GTS 部门 AI 算法团队提出了 GTS-LUM。

　　 GTS-LUM 技术架构如下图所示：

　　 GTS-LUM 基于多层级时间划分融合语义策略，通过构建“时段-周期”语义描述优化用户行为序列建模。

　　 具体而言，基础层级会把一天划分成多个典型的时间段（例如早高峰、午间等）；同时在周期层级上结合工作日与周末的周维度特征，构建起对用户行为事件的复合语义描述。之后，按照指定的时间片段范围对用户行为进行处理并汇总。

　　 针对同一时间切片的用户行为，组织序列时，在起始端嵌入对应的时段-周期语义描述，并在序列末端添加特殊分隔符 [SEP] 作为行为片段的边界标识。

　　 该设计借助粗粒度业务时间特性与细粒度行为位置关联的协同建模，构建出具备时间感知能力的用户行为序列。

　　 GTS-LUM设计了一种多模态融合的用户行为嵌入方法，能够准确提取用户业务级别的浅层语义信息。

　　 通过对用户与产品、地点或渠道在任一时间切片内的交互行为进行整合分析，生成一段简洁的“一句话”描述，随后利用预训练的语言模型获取该描述的文本向量嵌入，在语义空间中采用谱聚类方法，以提取具有可解释性的行为语义编码。

　　 通过Node2Vec算法对用户间的交互图数据进行处理，并结合TableGPT2框架对终端设备和地理位置等属性维表展开分析，最终生成多模态业务嵌入向量。

　　 这一创新方法的关键亮点在于通过基于Q-Former适配器实现跨模态对齐机制。在我看来，这种技术突破为多模态信息处理领域带来了全新的视角。在当前信息爆炸的时代，如何高效整合文本、图像等多种形式的数据已成为研究的重点。而这一机制不仅能够更精准地捕捉不同模态间的关系，还极大提升了数据处理效率。例如，在新闻报道中，它能更好地结合文章内容与配图，使读者获得更全面的信息体验。未来，随着技术的进一步发展，相信这一机制将在更多应用场景中展现其独特价值，为用户带来更加智能化的服务。

　　 利用交叉注意力机制自动挑选与当前语义关联度最高的多模态业务特征，同时借助共享的自注意力模块搭建业务特征空间与语义空间之间的潜在映射结构，最终借助对比学习任务达成跨模态的知识对齐目标。

　　 论文中创新性地为Q-Former设计了多种额外训练任务，如序列片段-文本匹配、对比学习以及生成任务，这不仅增强了其作为多模态对齐器的能力，还赋予其捕捉用户长期兴趣的潜力。这种设计思路令人眼前一亮，它突破了传统单一任务模型的局限，通过多维度的学习方式让AI系统能够更全面地理解信息。在我看来，这样的技术创新对于推动人工智能在复杂应用场景中的发展具有重要意义。未来，随着更多类似方法的应用，我们有理由相信AI将在个性化服务领域展现出更加出色的表现。

　　 GTS-LUM在用户表征学习方面进行了深度优化，通过引入目标感知建模技术，能够精准识别并突出用户历史行为中与当前任务场景最为相关的部分。这一创新不仅提升了模型的学习效率，还显著增强了其对特定任务需求的理解能力。 在我看来，这种技术的应用标志着人工智能在个性化服务领域的又一次突破。尤其是在信息过载的时代背景下，如何从海量数据中快速提取出最有价值的信息显得尤为重要。GTS-LUM通过目标导向的方式帮助我们更好地聚焦于真正重要的内容，这无疑为提升用户体验提供了新的可能性。未来，随着这项技术的进一步发展和完善，相信它将在更多领域展现出强大的潜力，为人们的生活带来更多的便利与惊喜。

　　 与传统的推荐模型采用目标后置的方式不同，GTS-LUM创新性地将预测标签放置在行为序列的起始位置，借助大型语言模型（LLM）的因果注意力机制完成双阶段优化过程。

　　 在注意力机制的计算过程中，目标标签以先验条件的形式动态地对历史行为的注意力权重分布进行调节；在表征向量生成阶段，借助Decoder的自回归结构完成逐步的特征优化，通过多轮解码迭代更新用户表征向量。

　　 在某省级运营商的实际应用场景中，从20万左右用户的数据出发，在Ascend910B2NPU上开展训练与推理实验，结果表明GTS-LUM的表现十分突出。

　　 GTS-LUM 与业界方案对比如下：

　　 GTS-LUM 在所有评估指标上均显著优于基线模型。

　　 结果表明，虽然典型的推荐模型在实验数据中效果显著，但面对工业级场景中特有的复杂性时，其性能会明显下滑。

　　 具体而言，GTS-LUM方案在性能上比Meta@HSTU高出107.86%，较ByteDance@HLLM则提升了31.38%。这一显著的进步充分体现了多模态信息融合的价值，同时也表明将开放领域的知识与具体业务需求紧密结合的重要性。在我看来，这种技术上的突破不仅意味着人工智能在处理复杂任务时的能力得到了进一步加强，也预示着未来的技术发展将更加注重场景化应用和个性化服务的结合。随着各行业对智能化解决方案的需求日益增长，如何有效整合不同来源的知识并将其转化为实际生产力，将成为衡量技术创新的关键指标之一。

　　 更多实验结果，请参阅论文。

　　 GitHub 链接：https://github.com/zzzzztw/GTS-LUM/blob/main/GTS-LUM.pdf

　　 本文来自某科技媒体（ID：TechFrontier），作者：某大型企业技术团队 请注意，上述修改仅调整了部分内容表述，核心信息与原内容保持一致。