构建AI基础模型时需考虑的5个关键要点

ai新闻2个月前发布 塔林
10 0 0

虽然一些企业领导者选择购买大型语言模型,但另一些则选择自主构建。以下是您需要了解的五件事。

构建AI基础模型时需考虑的5个关键要点

imaginima/Getty

许多企业才刚刚开始应对人工智能的影响,但有些企业已经使用机器学习(ML)和其他新兴技术超过十年。

对于英国国家测绘局(Ordnance Survey,OS)的首席技术官Manish Jethwa而言,当务之急是将其组织的AI和ML经验与生成式AI的最新进展相结合,以优化、分发和应用其海量数据资源。

Jethwa向ZDNET解释了语言模型(LLMs)如何帮助OS用户查找和查询地理空间数据。其中的关键要素之一是该组织的AI基础模型,这些模型作为构建更专业应用的基础。

尽管Gartner等科技分析师认为,企业领导者对于应该购买还是构建AI模型存在诸多猜测,但Jethwa和他在OS的团队将基础模型与商用工具相结合,以开发和分发地理空间数据。

以下是企业领导者可以从Jethwa部署AI基础模型的经验中汲取的五个关键教训。

1. 开发强有力的用例

Jethwa表示,OS正在开发基础模型,以版权敏感的方式提取环境特征进行分析。

“大型科技公司训练的许多现有模型都基于商用数据,”他说。

OS得益于长期的高精度数据收集历史,为该组织的AI发展提供了支持。

“在我们尝试提取特征的领域,我们从头开始构建基础模型,”他说。”这将是一个我们使用内部标记数据定义完整训练集的模型。”

基础模型还被用作其他领域数据分析的基础。Jethwa表示,这里的核心思想很简单:您可以反复使用已构建的成果。

“基础模型旨在帮助我们构建后续输出。因此,如果我们想了解屋顶材料、绿地或生物多样性,都可以从同一个基础模型出发,”他说。”无需训练多个基础模型,只需在最后进行微调。这个过程使我们能够将试图解决的问题与源数据联系起来。”

2. 建立有目的的方法

Jethwa表示,有针对性的训练有助于在构建基础模型时控制成本。

“我们必须注意,在训练这些模型时,我们是有目的地进行的,因为在学习过程中可能会浪费大量计算周期,”他说。”这些模型的执行所需的能源和资源远远少于实际训练。”

OS通常以分块方式向其模型提供训练数据。

“构建标记数据需要相当长的时间,”他说。”您必须在全国范围内整理数据,包含您试图学习的各种类别,因此需要城市和农村等不同区域的混合数据。”

该组织首先构建一个使用数百个示例的小型模型。这种方法有助于控制成本,并确保OS朝着正确的方向前进。

“然后我们慢慢构建标记集,”Jethwa说。”我认为我们现在已经有了数十万个标记示例。通常,这些模型需要数百万个标记数据集进行训练。”

虽然该组织的模型规模较小,但结果令人印象深刻。

“我们已经超越了大型供应商提供的现有模型,因为那些模型是在各种图像上训练的,”他说。”这些模型可能解决各种各样的问题,但在我们特定的领域,即使规模较小,我们的模型也表现得更好。”

3. 使用其他LLM进行微调

Jethwa表示,仅仅因为OS使用自己的基础模型并不意味着该组织忽视了知名的大型语言模型:”我们在现有模型的基础上进行构建,并根据我们的文档进行微调。”

OS充分利用了商用LLM的全部功能。作为微软生态的用户,该组织使用Azure机器学习模型、基于Python的工具和其他专业功能。

Jethwa表示,OS还与IBM等外部组织和其他技术供应商探索合作,以生成数据驱动挑战的协作解决方案。

同样,与基础模型一样,其目的是控制成本。

“这是一种合理化的努力,”Jethwa说。”在内部,采取这种方法的主要方式是缓慢构建,确保您试图达到的目标是可实现的,并且不会在徒劳的活动中浪费资源。”

4. 考虑商业化

既然OS已经开始构建和优化其基础模型,这些技术是否可以被其他组织使用或出售?Jethwa表示,答案是可能的。

关键问题之一是皇家版权(Crown copyright),这是适用于英国公共部门员工创建的资产的版权形式。

“我认为在某些阶段我们将有机会共享这些基础模型,但由于它们建立在皇家版权基础上,我们仍在努力了解对外分享这些成果的潜在影响,”他说。”这里存在着’泄露皇冠上的明珠’的风险——这些资产确实是皇家版权的瑰宝,因此我们必须谨慎行事。”

Jethwa表示,当OS提供开放访问时,其资产不应被收集和 monetized 而不为英国纳税人带来利益。

“我们试图尽可能保护我们的数据,但同时为英国创造尽可能多的价值。因此,试图取得平衡是一个挑战。”

5. 着眼未来

Jethwa表示,他的组织在基础模型方面的工作证明了生成式AI在提供深度见解方面的优势。

“这提供了关键的突破,而在此之前,您总觉得在如何执行交互、获取数据和优化请求方面,访问权限有些遥不可及。”

他描绘了OS的AI方法在未来十年可能如何发展的图景。

“我可以想象这样一个界面:有一张地图,您可以说’我对这个区域感兴趣’,然后放大,AI会问’您在寻找什么具体事物?’当您说’学校’时,AI会询问学校类型,然后通过界面进行来回对话。”

Jethwa表示,长期成功的关键是使用API和数据,结合OS信息和外部来源等可信来源,为提示创建明确答案。

“AI模型在聚合和概率视图方面表现出色,但在我们的示例中,您不想知道学校的概率位置,”他说。”您想知道实际学校的位置。AI必须将真实请求转换为权威来源——OS就是这样的权威来源——我们可以提取数据并提供输出。”

© 版权声明
广告也精彩

相关文章

暂无评论

暂无评论...