人工智能AIGC专题报告：2023AIGC时代的多模态知识工程思考与展望
今天分享的是人工智能AIGC专题报告：《AIGC时代的多模态知识工程思考与展望》。（报告出品方：复旦大学）
精选报告来源公众：【幻影视界】,可获取完整PDF电子版
这篇报告是复旦大学计算机科学技术学院李直旭老师在2023年知识图谱与AIGC论坛上所做的报告。
报告主要从AIGC目前存在的一些问题、多模态认知智能两种实现路径、AIGC与MMKG（多模态知识图谱）互相促进关系进行论述，并提出了AIGC+MMKG模式可能是通用人工智能可行的实现思路几方面进行展开论述。
1、多模态大模型的本质是用语言解释视觉，用视觉完善语言，即要将文本中的语言符号知识，与视觉中可视化的信息建立的对应的统计关联。目前我们所熟知和广泛应用的基于文本内容的GPT4仍然存在强语言、弱知识；逻辑推理混乱；
专业领域知识不足等问题，当AIGC是基于多模态大模型进行的跨模态生成时，更会存在对多模态数据的理解问题，表现在事实知识不足、逻辑推理欠缺、常识储备不足等基础数据问题。再进行多模态大模型的建设和应用中，就需要在进行多模态大模型训练时具备海量高质量图文配对的数据；文字富含事实知识和常识；
逻辑推理过程可显化学习；而实际上现在的多模态训练数据普遍存在：数据规模大但质量差，信息不对称；文字中的知识量不足或不完备；逻辑推理是隐形过程较难学习；
2、报告提出多模态认知智能：基于多模态数据的知识获取、表示、推理与应用。这种多模态认知智能，作者认为可以有两种实现路径，一个是多模态大模型，基于海量预训练数据；
另一种是多模态知识工程，基于精选数据+专家知识方式，主要形式即多模态知识图谱（MMKG）。MMKG在传统知识图谱基础上，增加多模态数据丰富符号知识表达。（MMKG可以将多模态数据作为实体的多种关联属性存在，也可以作为图谱中的实体进行广泛关联）。两种方式各有优劣，其中多模态大模型的关联推理强、人工成本低、适配能力强，而多模态知识图谱专业高可信。
3、AIGC与MMKG现阶段可以互相竞合、互为补充。一方面：AIGC可以利用prompt机制快速获取大量知识，如从文本中提取三元组知识、或从给定图文中抽取多模态知识；辅助schema半自动设计（领域常识性知识等的概念挖掘、简单分类及本体生成等）；
辅助进行多模态下schema的融合和实体对齐；辅助MMKG进行知识更新等；而另一方面：MMKG对于AIGC，可以提供基于专业知识构建的测试数据集；可以引导AIGC进行部分敏感主题的约束生成（蒸馏）；基于显性结构化知识辅助大模型隐形知识编辑；垂直领域适配；
4、垂直领域/行业知识接入。（这一点比较值得关注，此前各类投资分析报告中均指出，AIGC后续一个方向就是向垂直/行业模型发展，行业一般都带有专业知识和定向数据，通用大模型生成后，还需要行业的训练模型、和行业知识库等进行模型微调）
报告原文内容节选如下：
本报告共计：50页。受篇幅限制,仅列举部分内容。
本文仅供参考，不代表我们的任何投资建议。如需使用相关信息，请参阅报告原文。）
精选报告来源公众：【幻影视界】,可获取完整PDF电子版
