青岛发布国内首个全模态实时交互大模型 VisualGPT

在青岛虚拟智能体产业大会上，国内首个支持全模态实时交互的视觉语言大模型——VisualGPT 正式发布，并同步推出智能体训练平台，向全国开发者开放多模态数据与算力资源。

核心特性

• 全模态实时交互：用户上传图片或视频后，可在画面中直接圈选、标注区域，或通过语音提问，模型将即时返回结构化答案、可执行代码或生成3D场景，无需切换至文字输入模式。
• 所见即所得交互体验：VisualGPT 创新性地融合视觉编码器与流式解码器，实现视觉输入与语义响应的无缝衔接，提升人机交互效率。
• 跨领域应用落地：官方已为教育、医疗、金融三大行业提供专用SDK。教师可对课件中的公式圈选并自动生成动画讲解；医生在阅片过程中可实时询问病灶参数；金融分析师则能针对K线图提问，获取策略回测结果。

青岛智能体训练平台现已配备1000张A100/H100混合GPU算力，以及高达10PB的多模态数据集，面向企业、高校及个人开发者免费开放申请。预计到2026年，平台将扩容至5000张H100，建成北方规模最大的AI训练集群。大会同期发布“百企百景”应用场景对接清单，首批征集超过200项视觉交互需求，计划于2025年底前完成100个典型示范项目落地。

据青岛市工信局介绍，未来三年将以 VisualGPT 为核心打造“青岛AI创新谷”，目标引进超300家上下游企业，构建千亿级全模态交互产业集群。

源码地址：点击下载