OpenCSG医疗大模型- 60% 医疗专业数据 +40%通用数据

1)设计并构建一个基于 自研的Decoder-only GPT系列架构的 0penCSG 医疗大模型，参数量达到70 亿，采用自研高性能中英文双语分词器，极大提高token 压缩比，自研基座模型架构但同时易于转换为llama、mistral、qwen等主流模型结构，以实现更好的下游应用表现。

2)收集和处理大规模高质量的医疗数据，数据比例为 60% 医疗专业数据 +40%通用数据，确保模型能学习到丰富的医学知识。医疗数据包括但不限于各科权威教材、临床指南、医学文献、病历报告、医患对话语料等。

3)基于自研的高性能、高可用、可拓展的LightLLM分布式大模型训练框架，在海量异构数据上对OpenCSG 医疗大模型进行高效训练，最大限度提升模型理解和生成医学语言的能力。

4)引入多维度评估体系，在训练过程中持续跟踪模型性能。涵盖医学语言理解、知识掌握、语言生成、逻辑推理、安全和伦理等方面的能力评估。

1)基于自研架构 OpenCSG 医疗大模型研发的智能问诊、自动处方分析、医疗知识检索等系列创新应用，助力医疗领域科技公司打造行业领先的智慧医疗服务平台。

2) OpenCSG 医疗大模型的卓越表现将为医疗领域科技公司在医疗 AI市场开拓新的业务场景，树立技术领导力品牌形象，吸引更多医疗机构达成战略合作。

3)探索大语言模型技术和传统医学专家知识的最佳结合路径，形成可规模化复制的经验模式。为医疗领域科技公司在医疗及更多垂直行业大模型应用方面积累宝贵的技术和商业化经验。

本案例采用OpenCSG 自研的 LightLLM 分布式训练框架进行 OpenCSG 医疗大模型的预训练。 预训练数据采集与清洗：

数据采集

1)根据项目预算，与医学数据供应商合作采购高质量结构化和非结构化医疗数据，包括但不限于：

OpenCSG 医疗大模型的研发成功，将实现人工智能技术与传统医学专家经验的高度融合，促进人机协同诊疗新模式的形成，助推智慧医疗行业的变革发展。OpenCSG 公司将为医学医疗科技公司基于项目成果持续打造面向全科医疗的"医学认知智能"，引领多模态医学大模型的技术趋势，在医疗AI领域确立难以撼动的领导者地位。

大模型+医疗的结合有望催生智能教学、科研辅助、新药研发等全新应用，帮助医学科技公司持续发掘新的价值空间，牵引产学研用一体化创新。

随着基于 OpenCSG 医疗大模型的应用规模化落地，将为医疗服务供给侧带来效率倍增。广大患者可享受到更加优质、均等的智能化诊疗服务，大幅提升就医获得感。