|
|
作为用于信息化，数字化和情报的新技术基础，生成的人工智能对于增强国家战略地位和国际竞争力至关重要。自2022年11月以来，随着IT代表的大型语言模型的快速发展，生成人工智能（Genai）已将人工智能从算法智能（AI）推广到语言智能（LI）时代，并且正在全面创新社会生产力。目前，大型语言模型已成为现代人工智能的基石，建造了连接多模式状态的桥梁。索拉（Sora）于2024年2月在美国发行，以其1分钟的高质量视频生成能力进一步开放了一个想象力的智力（，ii）的新时代。 Sora最初反映了世界模拟器的能力，并迈出了重要的一步来探索通用人工智能（AGI）。近年来，我的国家在生成人工智能领域也取得了持续的进步。 Wen ， ，Pangu，和Kimi等大型模型在中国应用领域建立了优势，表现出“一百个竞争”的繁荣情况。同时，我国家的生成人工智能也面临着诸如效率低下的算法，数据不足，计算能力短缺和过度能源消耗等问题。尤其是当我国家的芯片有限时，计算能力问题特别突出。本文将介绍生成人工智能的发展，专注于分析我国生成人工智能所面临的挑战，进一步讨论对策，并期待未来的发展趋势。
01生成人工智能的起源和发展
生成人工智能是指可以独立生成新内容的一种人工智能技术，其中包括各种形式，例如文本，图像，音频和视频。生成人工智能通过学习现有数据的模式和结构来创建新的和前所未有的数据实例。生成人工智能的核心在于其创造力和创新。这不仅是要复制或模仿现实，还关乎能够根据现有知识创新并产生有价值的新内容。生成人工智能模型的示例包括生成对抗网络（GAN），变异自动编码器（VAE），生成的预训练（GPT）等。生成的人工智能具有广泛的应用，并为艺术，设计，娱乐，娱乐带来了重大变化，甚至科学研究。生成人工智能的发展前景广泛。它不仅可以为人们的日常生活带来便利，还可以帮助人们提高工作效率，促进工业升级并促进社会发展。
生成人工智能研究范式与以前的深度学习有显着不同。过去，深度学习的理论和算法研究主要由学术界参与，而生成人工智能的发展主要是由包括开放AI，MET和AI在内的许多公司促进的。这些公司已经在生成人工智能领域投入了大量资源，并通过研发和商业应用促进了技术的进步和应用，使生成的人工智能从实验室转移到市场上，并在各个领域中获得广泛的应用，并有影响力。 。
在创建新内容和促进技术进步的同时，生成人工智能也可能带来一系列安全问题，主要包括以下方面：
在虚假信息方面，生成的人工智能可以产生逼真的文本，图像，音频和视频内容，从而导致虚假新闻的产生和传播，伪造证据和误导信息，对社会秩序和公共安全构成威胁。通过生成的人工智能技术，深层假技术（）可以创建可用于身份模仿，欺诈和诽谤以及侵犯个人隐私和声誉权利的逼真的虚假面孔和声音。生成的AI模型可用于创建恶意软件或进行网络攻击，例如生成用于网络钓鱼攻击的现实电子邮件或创建虚假的凭据以绕过安全系统。
就版权和隐私保护而言，当培训生成人工智能模型时，可能需要大量个人数据。如果处理不当，该数据可能会披露个人隐私并增加数据泄露的风险。生成人工智能可能会无意中复制或模仿创作过程中受版权保护的作品，从而导致知识产权纠纷。
在伦理和道德方面，创建内容时可能会缺乏人工判断力和审查制度，从而导致不适当或不敏感的产出。为此，世界各国正在加速立法，以鼓励创新的人工智能技术的创新应用，还规定了服务提供商和用户应遵守的基本规范，包括尊重知识产权和他人的合法权利和利益，提高生成的内容和可靠性等的准确性，以确保其健康和有序的发展。
此外，根据《纽约客》的相关报告，GPT-3在训练阶段的一次摄入量高达1287万千瓦时。在部署和启动之后，基于每天平均要求2亿要求的计算，推理响应服务的功耗与每天一样高。 500,000度。根据公共信息，在我的国家，三峡谷大坝的平均每年发电量约为850亿千瓦时，而在2022年，我国家的主要数据中心的电力消耗达到2700亿千瓦时，这超过三倍以上三个峡谷的平均年度发电。冷却用水量，碳排放足迹等也将对生态环境产生无关紧要的影响。
02我国家生成人工智能发展的现状
全局。自2022年11月发布以来，国内大型模型迅速上升，形成了“一百个竞争”的繁荣情况。自2019年首次推出以来，百度的 1.0通用模型已升级为4.0版。阿里巴巴云，华为，腾讯，和其他公司也推出了自己的通用型号，例如 ，Pangu，Pangu，和Spark和Sake和Sake和As As和Are和Sake，以及向公众开放。在这项比赛中，初创企业还取得了非凡的成就，例如由“月球黑暗面”推出的Kimi Smart 模型，该模型支持多达200万个汉字的上下文长度，这引起了该行业的广泛关注。学术界还积极参与国内大型模型的研究。例如，中国科学院自动化研究所发布了世界上第一个三型三式模式的图形，文本和音频训练模型， 和上海人工智能实验室和Fudan 共同发布了该学者。 PU语言通用模型（）。为了促进技术和市场的发展，一些制造商提供了大型模型的开源版本，例如阿里巴巴云的QWEN系列，Zero-100 yi系列，Zhipu 的GLM系列，的系列， 等。 。这些开源模型为研究和应用提供了便利，并进一步促进了国内大规模模型技术的创新和应用。
为了增强对蓬勃发展的国内大型模型的理解，新华社新闻社研究所的中国企业发展研究中心发布了三个版本的“ 2023年人工智能大型模型经验报告”，审查了大型模型中激烈的竞争整体评估了产品市场以及当前的大型模型和制造商。同时，多个机构还推出了自己的大规模模型评估系统和排名，例如“ Sinan”（），C-Eval等。制造商之间的激烈竞争表明了该行业的活力和吸引力。在表现出对国内大型模型的激烈竞争的同时，排名还揭示了行业中的混乱，例如模型炮击和虚假分数。
域应用。开发基于一般大型模型并促进垂直领域的特定田野模型是我国生成人工智能领域的一个特征。国内专业现场模型已在许多行业中应用和开发，例如科学研究，教育，医学，工业和金融。
在AI4S（AI）领域，华为的Pangu气象模型使用深度神经网络和地球的先验知识来实现高精度的实时气象预测，超过了传统的数值预测方法。中国科学技术大学/东方师范大学提出的Chem-GPT模型提出的化学-GPT模型。0/上海北海大学提出的Bai-Chem模型，以及“ ·sia ”流体机械师大学与华为合作。这些模型在各自的领域中取得了某些结果。
在教育领域，由东中国师范大学和北京语言和文化大学以及的（）和Ziyu 的Ziyu教育模型开发的Taoli教育模型，展示了大型模型，以帮助教学过程。重要的角色
在工业领域，由中国通用核公司推出的“金舒”核工业语言模型，达利安化学物理研究所的化学模型，中国工业互联网公司的“智能工作”模型以及西安安·研究研究所中国煤科学技术”地质模型改善了工业领域的情报水平。
在医学领域，中国技术大学的生活空间健康模型Bian Que（）和心理健康模型（）以及技术技术模型以及多种中医模型，例如Baidu 的 模型，东中国师范大学的 传统中药模型（-TCM），中国传统中药大型语言模型（CMLM-）福丹大学和汤吉大学。 和 等人的模型（Huang-Di）促进了医学和健康领域的智能发展。
在金融领域，中国科学院计算机应用学院的“宝藏陶器”财务知识问答模型，杜的“ ”开源财务模型，来自数千亿美元 和Hong 在大学中，投资融资的主要投资融资模式在金融行业中起着越来越重要的作用。
这些行业模式最初提高了行业的生产效率，并不断创造了新的动力和新的优势。同时，在某些行业的大型模型实施中仍然存在许多挑战，而且发展前景尚不确定。
政策和法规。为了使国内大型模型的标准化和健康发展，中国的网络空间管理以及包括国家发展与改革委员会，包括国家发展与改革委员会，科学技术部教育部，共同发布了“临时措施生成人工智能服务的管理”，该服务规定了生成人工智能大型模型的规定。实施“记录系统”管理。此外，为了满足当前国内大型模型的当前开发引起的巨大计算电源需求，我的国家连续发布了“国家综合大数据中心协作创新系统的计算机枢纽实施计划”，“行动”计算电源基础设施的高质量发展计划”和“一系列文档，例如第14五年的数字经济发展计划”，促进了计算能力基础设施的构建。
03我国生成人工智能面临的挑战
尽管我的国家在生成人工智能领域表现出繁荣的一幕，但与国际领先水平相比，我的国家在计算电源设施，数据质量，算法创新，资本投资，人才储备，工业发展，工业发展，工业发展，工业发展，工业发展，工业发展，工业发展，工业发展，与国际领先水平相比，生态建筑等。 。
计算能力。在AI计算能力领域，美国的在世界上占主导地位，国内AI芯片制造商，例如华为，寒武纪，摩尔线，Biren ， ， Core等。 Baidu和科学技术大学以及其他公司还开放并部署了平台，例如独立且可控的大型模型计算功率基础“ Spark All-In-in-In-In-In-One”和“ Star One”，其中包括国内芯片工厂。其中，华为是AI计算领域中最先进的，并根据DA Vinci 推出了Aston系列AI芯片。面对目前的现实，即海外高性能芯片进口是受限制的，国内高性能筹码已经做出了某些发展，但是与国际高级级别相比，仍然存在一定的差距。
以的H100（SXM）和华为的天文学910b为例，作为国际和国内市场中的主要AI芯片，H100（SXM）的FP16计算能力是天文学910b的5.2倍；在视频内存方面，H100（SXM）80G HBM3是 910b的1.25倍，而新一代视频记忆带来的性能差距更大。此外，H100（SXM）采用技术，并具有900GB/S间互连带宽，是 910b的2.25倍。 的CUDA架构和诸如Cudnn之类的专用库形成了一个成熟的软件和硬件生态系统。尽管华为的Cann架构不断改善，但它开始迟到，并且操作员和算法优化仍然存在差距。尤其值得注意的是，等公司的AI芯片正在迅速迭代和升级，而我的国家已被芯片制造技术阻止，产品更新速度已大大减慢。 在2023年发布了新一代的H200芯片，视频记忆容量增加到141克，而大型推理速度则翻了一番。 2024年3月，发布了一个计算平台，其性能显着提高。例如，与使用该平台相比，具有1.8万亿参数的训练GPT-4显着降低了能耗。相比之下，华为的 910于2019年推出，而升级的910B仅在2023年在小规模上使用。此外，基于自我开发的TPU的计算功率平台显示出强大的强度。 Groq开发的大型模型推理芯片LPU最近引起了广泛关注，可以达到H100的十倍的推理速度。总体而言，我国家与国际计算能力的高级水平之间的差距将在短期内进一步扩大。
数据。数据是生成人工智能的核心要素之一。与人工智能培训数据的质量和数量，管理，共享和应用中的外国英语数据相比，我所在的国家存在一些差距和挑战：
在数据质量和多样性方面，尽管近年来我国家的中国数据迅速增长，但在某些领域，高质量的标签数据仍然相对较不足，例如专业医疗保健，法律等。互联网和大型用户群，英语数据涵盖了广泛的文化和环境，并积累了大量的高质量文本和多媒体数据，这有助于培训更广泛的AI模型。尽管中国的数据在当地文化和环境中具有优势，但仍有必要加强多样性和包容性，以处理多丁字和多元文化背景中的数据。
在数据管理和共享方面，我国家的公共数据具有广泛的范围，但是在开放共享，开发和利用方面存在缺点。例如，天气数据在范围和历史范围内存在局限性，法律领域的司法文件网站已从公共询问更改为查询。社会力量主要依靠海外的高质量开源数据集，中国语料库主要来自互联网上的公共数据，政府数据的贡献很少。为了增强我国在AI领域的竞争力，有必要加强公共数据的公开共享，优化数据管理和利用，鼓励政府与社会力量之间的合作，并共同促进数据资源的有效发展和应用。总体而言，中国语料库的数量，质量和开源不如英语。数据资源分裂和不完善的循环机制存在问题。没有一个生态系统为大型模型提供有效的数据资源，这在一定程度上阻碍了我国家的生成形式。人工智能的发展。
算法。算法，数据和计算能力是深度学习的三个主要要素。就基本算法而言，在2017年提出，该算法已成为生成AI的核心模块。从那时起，外国机构提出和开发了多模式领域的剪辑，扩散模型（模型），混合专家模型（MOE）和生成领域的其他方法，而我国的科学研究机构的创新方法相对较少，并且不足影响。 。
就大语言模型而言，的Bert和GPT是第一个引诱新时代的人，尤其是该版本成为AI发展的里程碑。随后的GPT-4在大多数任务指标中的出色表现中仍然是许多语言模型中排名第一。尽管Meta开源Llama模型以后的性能略有较低，但其开源属性已成为世界上许多大型模型的来源。在文本生成的图像方面，Dall E和在2022年的第一个版本迅速引起了全球关注，其真实性很高，人工智能生成的内容（AIGC）进入了一个新时代。在文本生成的视频方面，索拉（Sora）于2024年2月发布，这是另一个历史性的突破。在大型语言模型的领域，国内百度，，中国科学院和其他部门具有第一步优势，并推出了大型模型，例如 Yiyan和Glm。自2022年以来，受开源力量等因素的驱动，已经形成了“一百个模型战争”的繁荣情况，但是总体绩效并未超过外国模型，例如GPT-4。在产生文本的视频方面，中国和索拉之间的差距更为明显。
04对我国促进生成人工智能发展发展的对策和建议
在当前情况下，我的国家应协调计算能力和能源效率整合领域的计划，开放数据共享，模型的垂直应用，全面的生态改进以及动员各方以实现全面发展。
首先，鼓励在计算体系结构中进行多样化的创新，充分利用我国的能源优势，并建立高效的智能计算能力网络。在计算芯片方面，应探索和开发更适合AI计算的架构。尽管GPU系列在短期内仍将是AI计算的主要平台，但它也具有设计缺陷，一些新的和旧的力量正在破坏他们的垄断。例如，美国创业公司Groq开发的LPU专门针对大型语言模型推理，并且速度显着提高，而旧英特尔开发的最新AI计算芯片的培训性能为H100的1.7倍。我的国家还应鼓励开发AI特异性架构，充分利用RISC-V等开源体系结构，加速芯片制造技术的升级，并探索独立且可控制的计算生态系统。此外，应加速对量子计算等新计算形式的研究。量子计算使用量子叠加和量子纠缠的原理，其自然并行处理能力比当前主流处理器的平行处理能力高得多。近年来，量子计算技术已经迅速发展，量子机器学习等领域已经显示出潜力。
就电源而言，随着AI计算能力的不断增加，对电力的需求也在急剧增长，电力已成为AI计算功率摊牌的关键因素。生成人工智能技术的发展不能与计算能力的支持分开，并且计算能力的提高不能与电力供应分开。我国家的“ 100 Model War”可能会大幅提高智能计算中心及其支持设施的建设和调试速度。在这方面，除了加强国家超级计算中心外，我的国家还可以专注于应对从两个方面增强能源计算能力的挑战。首先，执行计算能力和能源的组合，请参阅比特币“采矿厂”模型，并在四川，云南，内蒙古，新疆和其他地区的地区部署计算能力中心，并使用热力，在附近的水电，风能和太阳能，依靠独立的硬件设备，建造高效计算功率中心，并帮助“地球和西部计算”。第二个是通过分布式计算动员社会资源，进一步利用社会中的闲置计算能力，并吸引公众参与科学研究。
其次，建立联邦数据基础，鼓励公开共享，并促进数据质量改进和增加。为了应对小型数据库存的问题，低质量，不足的开放性和不完美的共享机制，我国家的首要任务是建立一个智能的联邦生态系统，而联邦数据是重中之重。联邦数据为数据安全和隐私问题提供了有效的解决方案。它的操作机制遵循并行智能范式，可以根据法律和并行强化学习探索和实施数据优化，从而为将大数据转化为智能奠定了基础。联邦数据的架构包括六个组件，即真实的数据/物理对象，虚拟数据/数字双胞胎，联邦数据实验，联邦融合，联邦安全和受信任的联邦智慧。前两个组件用于处理来自物理对象和由特定设备上安装的数字双胞胎生成的虚拟数据以及其他方法生成的虚拟数据。联合数据实验是探索最佳模型的关键过程之一，通过在解决方案空间中进行搜索（例如使用强化学习和并行的增强学习）来找到本地模型的最佳参数。联邦融合组件负责通过使用特殊设计的模型融合算法（例如动态融合机制）将本地模型综合为全球最佳模型。联邦安全组件负责数据安全和隐私。数据所有权和使用权分开了，即针对特定节点，数据存储在其本地地址中，并且这些数据培训的模型被转移到联邦融合和联合数据实验组件中，类似于联邦学习。此外，可以通过区块链或其他加密方法进一步提高安全性。可信赖的联邦情报可以从联邦数据实验和联邦融合的结果中获得。
第三，继续创新算法，创建专业的大型模型，并探索用于垂直应用的新场景。在我国家的AI计算能力受到限制的背景下，在短期内很难进行模型算法创新的突破，我们应该专注于建立专业人员，同时不断鼓励算法创新，同时弥补计算能力的缺点，促进工业升级， ，并将行业痛点作为起点。大型模型，探索垂直字段中的新应用程序。通过关注垂直领域的专业大型模型，可以更有效地使用现有的计算资源，以避免浪费一般AI模型的重复资源。专业的大型模型针对特定问题进行了优化，并且可以通过有限的计算能力来实现更高的性能和效率。专业的大型模型可以为特定行业的需求提供定制的智能解决方案，促进传统行业的数字化和智能转型，从而提高整个工业链的技术水平和价值创造能力。例如，在医疗，金融，运输和教育等关键领域，专业的大型模型可以解决行业痛点，例如提高疾病诊断的准确性，优化对金融服务的个性化建议，减轻交通拥堵等等等等。并不断改善人们的福祉。
第四，探索陶（真正的道路），开发智能联邦生态系统并改善智能生态系统。如前所述，人工智能技术的创新和健康发展涉及计算能力，算法和数据的多个要素，这些要素需要政府，学术界，企业和公众的共同努力。因此，建立和改善促进AI发展的生态系统非常重要。
一方面，充分利用区块链和分布式自治组织（DAOS），并利用当前流行的Web3和Desci浪潮来促进我国AI领域的全面发展。区块链是一种分布式分类帐技术，可通过加密和共识机制确保数据的不可分时间和透明度。在AI领域，可以使用区块链来确保数据的安全性和隐私，同时为AI模型提供高质量的可追溯数据源。分布式自治组织（DAO）是基于区块链技术的组织形式。它通过智能合约自动执行组织的规则和决策过程，并可以为AI项目提供分散的管理和资助分配机制，并提供块。 Tao（True Dao）的结合，促进了AI技术的开放协作和联合治理。 Web3指的是建立在区块链技术的下一代互联网。它强调了分散数据存储，用户隐私保护和数据所有权返回用户的概念，从而为AI提供了更开放，透明和安全的数据环境。上述技术应用程序的一个例子之一是Desci，它使用区块链和智能合约等技术来实现科学研究的权力下放，开放性和共享。 DESCI鼓励跨学科合作，促进科学数据和研究结果的公开共享，还可以为AI提供丰富的数据资源和创新势头。 Web3，分布式自治组织（DAO），区块链和DESCI将共同促进技术进步，促进数据共享，增强系统安全性并促进人工智能发展中的分散治理，从而提供健康的发展和广泛应用AI。坚实的基础。
另一方面，应建立整合联邦数据，联邦控制，联邦管理和联邦服务的联邦生态系统，以促进将联邦情报促进联邦智能系统的发展。联邦控制在联邦生态系统中起着核心作用，其主要目标是维持信息安全并保护数据的所有权，控制，隐私和使用。作为分布式控制策略，联合控制为大型和复杂系统提供了有效，安全和可靠的管理和控制。 is a key of the , for based on goals and and to in . , the can state, goals, and while . The of is to over data. In the of , a large of new data is , which can be added to data to .
By the above- that and , we can , , and the and of AI from a . Based on DeSci, , food , , , and by are , a new .活力。
05 and of
is one of the - areas of , of and have been one after in a short of time, which is with each day. The of , , power and forms a , for the of in the . , my faces such as power and and data , the of are still broad.
First, the scale (Law) of the big model still has to . calls for new to them are , new such as Mamba are still in the stage of and and have not been and used. The based on and with MoE will to the of of scale in the short term.
, large are the focus of . The model has and has a to link modes. , , etc. will be to the from to .
Third, the model is the key . for based on a few basic large is an way to the "AI+" . fine- (PEFT) can time and cost by the of fine- and . For , such as LoRA and other can when are .
, will the for power and . With the of the scale of large and the rapid of for such as and , of power will be the norm in the , in my 's case of chip . More . At the same time, the of power will also the and of AI- chips. chips that are by will out the , and my 's AI power chips will also grow . |
|
发表于 2025-2-15 11:17:51
