该报告由清华大学郑纬民在QCon全球软件开发大会上发表，围绕人工智能大模型展开，涵盖发展趋势、技术挑战、国产算力发展以及应用案例等内容。

1. 大模型发展趋势：人工智能进入大模型时代，从单模态向多模态发展，广泛应用于医疗、金融、智能制造等多个行业，创造巨大价值。如AI助力药物研发周期大幅缩短，企业财务异常识别和工业质检准确率显著提升。

2. 技术挑战与应对

数据存储挑战：大模型训练依赖海量多模态小文件，现有分布式文件系统无法兼顾可扩展性与低延迟。新型文件系统通过解耦目录和文件元数据管理，实现低延迟路径解析和文件数目横向扩展，性能优势明显。

数据预处理挑战：数据预处理时间占比大，传统以计算为中心的方式网络开销大。诸葛弩大数据处理引擎以数据为中心，将计算任务调度到数据所在节点，兼容常用编程接口并采用编译优化技术，有效降低数据处理开销。

模型训练挑战：大规模模型训练的检查点读写存在负载不均和进程数不足等问题。分布式检查点策略依据特定平台存储架构特点进行调整，大幅缩短检查点时间。

3. 国产算力发展：外部限制促使中国AI内循环加速，国产算力总量和占比快速提升。多地规划智算中心建设，提高国产算力使用占比。国产AI芯片性能达国外60%且生态完善时，可满足客户需求。“八卦炉”等基础软件系统适配国产芯片，提升大模型训练性能，部分优化后算子效率提升显著。

4. 模型推理优化：大模型推理面临GPU显存容量不足的问题，使用闲置CPU和主存处理KV - Cache可提升GPU利用率和处理吞吐量，降低成本。清程推理系统在不同模型上相比其他方案吞吐量提升明显。

5. 应用案例 - Kimi智能助手：Kimi智能助手爆火但也面临宕机问题，其底层推理架构以存换算，提升吞吐75%以上。基于采样真实负载的模拟实验显示，该架构在满足服务水平目标的前提下，可多处理75%的请求。

6. 会议规划：极客邦科技2025年安排了多场与人工智能和软件开发相关的会议，涵盖大模型训练推理、多模态大模型等多个主题，旨在促进知识与创新传播 。

免责声明：我们尊重知识产权、数据隐私，只做内容的收集、整理及分享，报告内容来源于网络,报告版权归原撰写发布机构所有，通过公开合法渠道获得，如涉及侵权，请及时联系我们删除，如对报告内容存疑，请与撰写、发布机构联系