DoctorGLM是基于 ChatGLM6B 的中文问诊模型，通过中文医疗对话数据集进行微调，实现了包括 LoRA、PTuning V2 等微调及部署。项目地址：https://github.com/xionghonglin/doctorglm。
大型语言模型如 ChatGPT 和 GPT4 在理解和回应人类指令方面取得了显著进展，但它们在英文环境下表现更好，且未针对医疗领域进行专门训练，在诊断、药物推荐等医疗建议方面的准确性欠佳。并且对于一些医院等机构来说，训练和部署对话模型存在困难，这阻碍了大语言模型在医疗领域的推广。为解决这些问题，开发者收集了中文医疗对话数据库，并采用多种技术训练出了 DoctorGLM。
一、技术特点
1.基于成熟模型微调：以 ChatGLM6B 为基础模型进行微调，充分利用了 ChatGLM6B 在中文处理方面的优势，使其能够更好地理解和处理中文医疗问诊相关的文本。
2.高效的训练与部署：能够在单张 A100 80G 显卡上进行训练，并且训练时间相对较短，约 13 小时即可完成微调，这使得该模型的训练和部署成本相对较低。
运用了如 LoRA（LowRank Adaptation，低秩自适应）、ptuning v2 等前沿技术，这些技术可以在不增加过多计算资源的情况下，有效地提高模型在特定任务上的性能，使 DoctorGLM 能够更准确地回答医疗相关问题。
二、技术原理
1. 基础模型架构：
基于ChatGLM6B：DoctorGLM 是以 ChatGLM6B 为基础模型进行开发的。ChatGLM6B 是一个具有大量参数的预训练语言模型，采用了 Transformer 架构。Transformer 架构是目前自然语言处理中非常流行且有效的架构，它能够对输入的文本进行高效的编码和解码，捕捉文本中的语义信息和上下文关系。
大规模预训练：ChatGLM6B 在大规模的文本数据上进行了预训练，学习到了丰富的语言知识、语义理解和语法规则等。这些预训练得到的知识和模式为 DoctorGLM 提供了强大的基础，使其能够对输入的问诊文本有较好的理解能力。
2. 数据收集与处理：
中文医疗对话数据集：为了使模型能够适应中文问诊场景，开发者收集了大量的中文医疗对话数据集。这些数据集包含了患者的症状描述、医生的提问和诊断建议等信息，能够帮助模型学习到医疗问诊的特定模式和知识。
数据清洗与标注：对收集到的数据集进行清洗和预处理是非常重要的步骤。这包括去除噪声数据、纠正错误标注、对文本进行分词和标准化等操作，以提高数据的质量和可用性。
数据增强：为了增加数据的多样性和模型的泛化能力，可能会采用一些数据增强技术，如随机替换、删除、插入一些词语等，在不改变数据语义的前提下，让模型接触到更多不同形式的文本。
3. 微调技术：
LoRA（LowRank Adaptation，低秩自适应）：这是一种参数高效的微调技术。在微调过程中，不是对模型的所有参数进行更新，而是只更新一些低秩的矩阵参数，从而大大减少了训练的参数量和计算资源。通过 LoRA 技术，DoctorGLM 可以在保持基础模型性能的同时，快速适应中文问诊任务的特定要求。
ptuning v2：这是一种优化的提示微调技术。它通过在输入文本中添加一些可学习的提示向量，引导模型更好地理解任务和生成相关的回答。在 DoctorGLM 中，ptuning v2 可以帮助模型更好地理解患者的问诊问题，生成更准确、更专业的诊断建议和回答。
4. 训练与优化：
训练过程：使用处理好的中文医疗对话数据集对基于 ChatGLM6B 的模型进行微调训练。在训练过程中，通过不断调整模型的参数，使模型能够最小化预测结果与真实标签之间的误差，从而提高模型的性能和准确性。
优化算法：采用合适的优化算法，如随机梯度下降（SGD）及其变体（如 Adam、Adagrad 等），来更新模型的参数。这些优化算法能够根据训练数据的梯度信息，自动调整学习率，加快模型的收敛速度。
正则化技术：为了防止模型过拟合，可能会采用一些正则化技术，如 L1 正则化、L2 正则化、Dropout 等。这些技术可以限制模型的复杂度，提高模型的泛化能力。
5. 推理与生成：
推理过程：当用户输入问诊文本时，模型会对输入的文本进行编码，将其转换为模型可以理解的向量表示。然后，根据模型学习到的知识和模式，对输入的文本进行分析和理解，生成相应的诊断建议和回答。
生成策略：在生成回答时，模型会采用一些生成策略，如贪心搜索、束搜索等，来选择最优的单词或短语，生成连贯、准确的回答。同时，为了提高回答的可靠性和专业性，模型可能会对生成的回答进行一些后处理，如去除重复的内容、纠正语法错误等。
三、不足之处
1. 数据方面：
数据质量和准确性：尽管经过了大量数据的收集和整理，但数据中可能仍然存在一些不准确或不完整的信息。例如，患者自行描述的症状可能存在模糊性、主观性，或者在数据收集过程中可能出现记录错误等情况，这会影响模型的诊断准确性。
数据代表性：收集到的医疗数据可能无法完全代表所有的疾病情况和人群特征。某些罕见病、特殊病例的数据可能较少，导致模型在面对这些特殊情况时的诊断能力有限。而且不同地区、不同年龄段、不同性别患者的疾病表现和问诊特点可能存在差异，如果数据的代表性不足，模型的适用性也会受到限制。
数据更新问题：医学知识和临床实践不断发展，新的疾病、治疗方法和诊断技术不断涌现，但模型的数据更新可能存在滞后性。如果不能及时更新数据，模型的诊断建议和回答可能会与最新的医学进展脱节。
2. 诊断能力方面：
缺乏深度诊断能力：作为一个基于语言模型的问诊工具，它主要依赖患者提供的症状描述和有限的信息进行分析和诊断。与专业医生的临床诊断相比，模型可能无法进行全面的身体检查、实验室检查等，因此在一些复杂疾病的诊断上可能不够准确和深入。例如，对于一些需要结合影像学检查、血液检查等结果才能确诊的疾病，模型只能根据患者描述的症状给出初步的判断，无法提供确切的诊断。
误诊风险：由于模型的诊断是基于概率和模式匹配，存在一定的误诊风险。尤其是对于一些症状相似但病因不同的疾病，模型可能会出现误判。例如，某些呼吸道感染的症状与早期肺癌的症状可能有相似之处，模型可能难以准确区分。
3. 语言理解和表达方面：
对复杂语言的理解：患者在描述症状时，可能会使用一些不规范、口语化或带有地方特色的语言表达方式，模型可能无法准确理解这些复杂的语言。例如，一些患者可能使用方言描述症状，或者使用一些比喻、夸张的表述，模型可能会对这些表述产生误解，从而影响诊断的准确性。
回答的局限性：模型的回答可能过于机械和模式化，缺乏灵活性和个性化。每个患者的情况都是独特的，需要医生根据具体情况进行个性化的诊断和建议，但模型可能无法完全做到这一点。例如，对于一些心理因素对疾病影响较大的患者，模型可能无法给予针对性的心理支持和建议。
4. 隐私安全
隐私保护：在问诊过程中，患者会提供个人的健康信息和隐私数据，模型需要确保这些数据的安全和隐私保护。但在实际应用中，可能存在数据泄露的风险，这不仅会侵犯患者的隐私，还可能导致患者的个人信息被滥用。
医疗责任：使用模型进行问诊和诊断，可能会涉及到医疗责任的界定问题。如果模型的诊断结果出现错误，导致患者的健康受到损害，那么责任应该如何划分，是模型开发者、使用者还是患者自身的责任，目前还没有明确的法律规定。
四、应用领域
1. 医疗领域：
智能问诊辅助：在医院、在线医疗平台等场景中，帮助医生快速获取患者的初步病情信息，提供诊断建议和进一步的检查方向。例如，患者通过输入症状描述，DoctorGLM 可以分析可能的疾病类型，并给出相应的诊疗建议，提高问诊效率。
医学教育与培训：作为医学教学工具，帮助医学生学习和理解各种疾病的症状、诊断方法和治疗方案。学生可以与模型进行互动，模拟问诊过程，提高临床思维能力和应对不同病症的能力。
医疗科研：辅助医学研究人员进行数据分析和理论探索。例如，研究人员可以利用 DoctorGLM 对大量的医疗文本数据进行分析，挖掘潜在的疾病模式、治疗效果与各种因素之间的关系，为医学研究提供新的思路和方法。
2. 健康管理领域：
个人健康咨询：为普通用户提供日常健康咨询服务，用户可以向模型咨询关于健康生活方式、疾病预防、饮食营养等方面的问题，获得专业的建议和指导。
健康监测与预警：结合可穿戴设备等健康监测数据，对用户的健康状况进行实时分析和预警。例如，当用户的健康数据出现异常时，DoctorGLM 可以根据数据提供可能的健康风险提示，并建议用户采取相应的措施。
3. 保险领域：
保险理赔辅助：在保险理赔过程中，帮助保险公司快速评估理赔案件的合理性和真实性。通过分析患者的病历、诊断报告等信息，DoctorGLM 可以为保险公司提供理赔决策的参考依据，提高理赔效率和准确性。
保险产品设计：基于对医疗数据和疾病风险的分析，为保险公司提供保险产品设计的建议。例如，根据不同疾病的发病率、治疗费用等因素，设计更合理的保险条款和费率。
4. 智能客服领域：
医疗相关企业客服：对于医疗设备制造企业、医药企业等，DoctorGLM 可以作为智能客服系统的核心，回答客户关于产品使用、疾病治疗、药物副作用等方面的问题，提高客户服务质量和效率。
其他行业客服：在一些与健康相关的行业，如健身俱乐部、保健品公司等，也可以应用 DoctorGLM 为客户提供健康咨询和产品使用建议等方面的客服支持。
总的来说，DoctorGLM 是一个具有较高潜力的中文问诊模型，它为医疗领域的智能化发展提供了新的思路和方法，但目前仍处于早期阶段，还需要不断地改进和完善。其项目地址为 https://github.com/xionghonglin/DoctorGLM。
