官网股票配资并不能直接拿来作为垂直领域数据使用

张剑清是一名上海交通大学在读博士生，获中国人工智能学会「青托」、吴文俊人工智能荣誉博士及国家奖学金。在代码大模型、合成数据集进化生成、联邦学习与推荐系统方向取得系列成果，主要关注其中的垂域自适应、模型融合、模型个性化主题，于JMLR、NeurIPS、ICML、CVPR、KDD、ICCV、AAAI等发表9篇CCF-A一作论文，主导并开源了PFLlib、HtFLlib、EvolveGen等项目，曾在字节跳动、清华AIR、KAUST、腾讯等机构实习交流。

数据短缺问题随着大模型的高速发展，日益加剧。已经有不少 Nature 论文指出，预计到 2028 年，公共数据的产生速度将因赶不上大模型训练的消耗速度而被耗尽。而在某些特殊领域，比如医疗、工业制造等，原本可用数据就非常少，数据短缺的问题更严重。

为了解决这一困境，我们提出了合成数据自主进化框架 PCEvolve：只需提供少量标注样本，就可在保护隐私同时进化出一整个数据集。PCEvolve 的进化过程类似 DeepMind 提出的 FunSearch 和 AlphaEvolve。

论文标题： PCEvolve: Private Contrastive Evolution for Synthetic Dataset Generation via Few-Shot Private Data and Generative APIs

现有大模型 API 并不能拿来直接合成垂域数据

垂直领域的中小企业普遍不具备训练私有大模型的能力，而倾向于使用现成的大模型 API（下文简称「大模型」）。人造合成数据是目前解决数据短缺问题所采用的主流方法：让已有大模型生成数据，再进行筛选、标注、清洗等步骤，得到高质量训练数据。

然而，当应用到垂直领域，如医疗、工业制造等领域，大模型虽然能够根据 prompt 生成对应的数据，但满足「语义匹配」的数据，并不能直接拿来作为垂直领域数据使用。这是因为：垂直领域的数据还有各种其他特性信息，比如光照、数据采样设备型号、隐私信息、上下文等。

举例来说，皮革在不同环境、材质、磨损程度等方面，都具备太多细节信息，而提供给大模型的 prompt 很难完整描述；即便完整描述，大模型也不能完全生成符合 prompt 的数据，因为大模型本身还无法完全模拟世界。

如下图所示，大模型生成的数据，和垂域摄像机拍摄的数据，具有巨大的差距，虽然标签都是「带有胶水残留的皮革」。同样的，在文本领域，让现成的大模型生成的 code snippet 数据，也无法与某公司内部开发人员的代码习惯和代码规范相匹配。而且，这一垂域数据特征分布差异的问题，在任意模态都存在。

【图 1】左边为大模型生成，右边为实际采集。在工业制造皮革领域，大模型生成图片和实际采集图片的对比

同时，因为垂域数据可能因为知识产权、隐私保护、行业规范等原因，本地数据不允许上传给大模型作 context，极大地增加了 prompt 工程的难度、降低了合成数据的质量。比如，公司内部的代码不能上传、医院的病人数据不能上传、企业的次品样品数据不能上传等等。

PCEvolve：保护隐私的合成数据进化框架

垂域数据除了不能上传之外，还具有本身就稀少的特性，导致带标注的垂域样本原本就少。这使得其他要求提供大量标注样本的方法（如 PE 等），不再可用。因为 PE 等方法在垂域情况下，为了保护隐私所加的噪声过大，使其方法退化为一种随机方法。而我们的 PCEvolve 在进化过程中设计了一种基于「指数机制」（Exponential Mechanism）的新的隐私保护方法，适配垂域场景的少样本情况。

下图是 PCEvolve 的架构图，左边是迭代进化框架：类似达尔文进化论，先让大模型 API 生成较大数量的候选合成数据（种群），再经过【选择器】（自然选择）进行淘汰，最后将不带隐私信息的优质合成数据返回给大模型进行下一轮进化。右边则是进化框架的「引擎」【选择器】的详细设计：以隐私数据作为参考（verifier）给合成数据打分（reward），最后根据分数优胜劣汰；其中打分过程，因为用到了隐私数据，需要作隐私保护。