目前,已有公司如Block和Apollo将MCP集成到他们的系统中,而Replit、Codeium和Sourcegraph等开发工具公司也在其平台上添加了对MCP的支持。
英伟达正在考虑如何安全地发布这项技术,以防止滥用,如制造虚假信息或侵犯版权。
大语言模型概数据资产:对LLM服务效能和功能起关键作用,如训练数据、微调数据、RAG数据等,还涉及数据卡片、输入输出数据、模型参数和日志数据等,其管理和更新对确保合规性和模型性能至关重要。
运维环境:涵盖运行训练和推理的云环境、AI应用云环境、混合多云基础设施等,还包括部署环境安全、持续监控和云托管训练数据存储,这些对模型性能提升和安全运行意义重大。
模型:模型架构、微调方法和开源闭源选择影响其性能、效能和灵活性。
LLM服务生命周期
准备阶段:涉及数据收集、管理、存储,资源供应及团队专业知识准备,为开发奠定基础并影响模型质量和伦理。
开发阶段:包括设计、训练,开发中要考量透明性、可解释性、效率和版本控制,以确保模型可靠且可重复。
评估与确认阶段:通过多种评估方法和验证手段,如度量、基准测试、偏见和公平性检验等,确保模型满足预期目标,部署后还需监控并重新评估。
展开剩余85%部署阶段:将模型集成到服务系统,涉及编排、服务供应链和应用相关工作,要考虑容器化、可扩展性、安全等因素。
交付阶段:持续管理模型,包括运营监控、维护修复、持续改进和应对停机计划,确保模型标准和性能。
服务退出阶段:正确停用模型,涉及归档、数据删除、模型处置及相关考虑因素,如告知用户、评估影响和知识转移。
服务影响和威胁分类
影响分类:对应CIA安全三要素及新增类别,如机密性风险涉及数据泄露,完整性风险涉及数据或输出被修改,可用性风险涉及服务受干扰。
威胁分类:包括模型操纵、数据投毒、敏感数据泄露、模型窃取、故障失灵、不安全供应链、应用程序/插件漏洞、拒绝服务和缺少治理合规性等风险,组织需采取措施应对。
免责声明:我们尊重知识产权、数据隐私金融配资开户,只做内容的收集、整理及分享,报告内容来源于网络,报告版权归原撰写发布机构所有
发布于:北京市