2024世界人工智能大会：小红书分享大模型领域布局探索
2024年世界人工智能大会以及人工智能全球治理高级别论坛于7月4日至6日在中国上海成功举办。7月5日午后，由中国信息通信研究院主办的WAIC 2024“迈向AGI：大模型创新与产业助力”论坛于上海徐汇西岸盛大启幕。小红书的技术副总裁王晓博在此次论坛上进行了主题演讲，并就小红书在大模型领域的最新战略部署和研究成果进行了详细介绍。
小红书社区现拥有超过三亿的月活跃用户，越来越多的年轻一代因共同的兴趣和爱好在此聚集，其庞大的用户生成内容构成了丰富多样的生活指南。
在演讲过程中，王晓博详细介绍了大模型在多个技术应用的场景中，如搜索、推荐、创新、美学以及陪伴等方面，将如何帮助小红书这本生活指南变得更加方便、生动和美好。
王晓博强调，他们期望通过多模态大模型功能的提升，使人工智能逐渐具备人类的理解能力，不仅能够解读小红书上的笔记、图片和文字，还能对内容进行整理和问答，同时还能协助用户更轻松地进行内容创作。此外，借助对内容和用户的深入理解，有望更高效地构建二者之间的关联与匹配。
用户在小红书上频繁使用搜索功能，其中70%的活跃用户会主动进行搜索。小红书正致力于研究将大型模型融入搜索技术的路径，旨在为用户带来更加便捷的搜索体验。
王晓博指出，在日常生活中，当用户面对一些复杂问题进行查询时，通常需要经过多个步骤的搜索才能找到满意的结果。然而，借助大模型的力量，小红书将运用Agent来模拟用户的搜索过程，通过大模型代理执行用户的查询，直接向用户呈现答案，从而显著提高了搜索的效率。
在推荐方面，大型模型能助力小红书更深入地洞察内容与用户喜好。王晓博指出，传统的推荐机制往往基于用户行为数据来构建用户与内容的模型，这往往使得新笔记的推广变得困难，同时，缺乏推理能力也容易引发信息茧房等问题。
小红书的推荐机制中，首次将大型模型定位为笔记内容的语义解码工具，运用语义压缩提示词技术以及对比学习策略，使得大型模型能将笔记内容转换成推荐系统能够识别的向量表示，从而在新生笔记的推送效率上实现了显著进步。大语言模型（LLM）的推理功能显著，它能更精准地构建用户兴趣模型。小红书借助这一优势，让大模型从用户的历史行为中推断出他们可能的新兴趣点，从而有效减轻了信息茧房效应，并提高了用户的活跃度。
AI智能创作领域，小红书与大模型间的碰撞孕育了诸多创新。今年，小红书内部孵化的一项新项目，通过引入人脸识别技术，在确保风格稳定的同时，也保证了人脸ID的连贯性。该项目不仅风格多变，而且无需经过模型训练，能够实现瞬间生成图像，为用户带来了“探索自我独特之处”的创作体验。
目前，该计划已经向公众开放源代码，为商业领域的应用，诸如电子商务、广告以及娱乐行业，带来了全新的发展机遇。
王晓博还提出，大型模型不仅能向用户传递信息和灵感，还能赋予他们丰富的情感体验。因此，小红书在宠物领域、社群交流、官方账号私信等关键场景中，分别创建了AI宠物、AI群聊和AI助手等聊天机器人产品，旨在为用户带来广泛的娱乐服务。
以AI宠物为例，用户们均有机会领养一只虚拟宠物。他们可以通过对话与宠物互动，在线上享受互动乐趣和情感寄托。在群聊场合，AI通过角色扮演，生动地展现其个性。同时，AI助手还能将原本生硬的官方活动信息，以幽默风趣的方式传达给用户。
小红书在应对陪伴类聊天应用中的技术挑战，如记忆、人格和情绪等方面，采纳了融合记忆网络、世界体系以及驱动飞轮等技术的综合策略。他们通过精妙的记忆模型构建，对过往对话进行语义剖析、重要性评估以及节点因子建模，以此深入挖掘用户行为模式，打造个性化的互动体验。这种做法促使应用在交互中不断变得智能，而智能的提升又进一步增强了交互效果，形成了一种良性互动的循环。王晓博如是说。
在演讲过程中，王晓博强调，实现应用场景的实际应用，根本在于构建坚实的基础能力。
目前，小红书的技术团队正在对语言模型和多模态技术进行同步研发。他们充分考虑了小红书的业务特点和需求，在视觉理解大模型领域先行开展了技术攻坚。他们在多模态模型架构、多模态数据处理以及整个数据体系与视觉感知能力等方面进行了深入探索和改进；同时，基于多种图文数据类型，通过端到端的多模态训练和优化，培养出对业务场景极为适应的视觉理解大模型。这一模型不仅提升了图像分辨率，还增强了OCR识别和长尾语义识别等能力。
小红书在引擎技术领域正逐步完善其布局，对大模型的工程体系进行了全面的建设，涵盖了预训练、SFT、RLHF等多个方面，并对模型及硬件进行了相应的改造和加速。同时，小红书自主研发了推理框架，并在量化压缩、投机采样等技术上进行了深入的优化。
在这其中，一些前沿技术尤为突出，比如在MoE框架内实现了5D并行的高效训练，并且自主研发了RLHF框架，其性能和收敛稳定性均优于开源框架。在推理方面，我们采用了W4A8模型压缩技术，并配合算子优化，整体性能较开源框架提升了约20%。王晓博如此介绍。
最终，王晓博强调：“在多模态技术、智能体以及算力层面，人工智能的发展前景广阔，小红书亦将充分利用大型模型的力量，不断缩小社区之间的联系差距，为小红书城内的用户们提供更强大的支持。”
2013年，小红书在上海成立，秉承“Lives”的使命，成功构建了内容社区、商业广告以及电商交易这三大业务领域。到了2023年末，该平台的月活跃用户数已突破3亿，其中超过50%的用户是95后群体；此外，小红书社区汇聚了超过1亿的分享者，他们在此平台上分享心得、记录日常。自公司创立之初，小红书便以技术创新为核心动力，目前所拥有及正在申请的专利、商标、版权数量已超过4000项，而公司自主研发的“珠玑”大型模型亦已顺利完成算法备案程序。
页:
[1]