ICode9

精准搜索请尝试: 精确搜索
首页 > 互联网> 文章详细

ChatGPT等大语言模型到底如何运作,底层逻辑是什么?

2023-07-30 16:50:20  阅读:116  来源: 互联网

标签:


ChatGPT等大语言模型到底如何运作,底层逻辑是什么?

ChatGPT 等大型语言模型(LLM)是一种由大量文本数据训练的神经网络。这些模型可以生成文本,翻译语言,编写不同类型的创意内容,并以信息丰富的方式回答你的问题。

LLM 的工作原理是通过识别文本中模式来学习语言。然后,它们可以使用这些模式来生成新文本,翻译语言,编写不同类型的创意内容,并以信息丰富的方式回答你的问题。

LLM 的底层逻辑是基于神经网络。神经网络是一种计算机程序,它可以模拟人脑的学习方式。神经网络由大量的连接组成,这些连接可以根据输入数据进行学习和调整。

当 LLM 被训练时,它会被提供大量的文本数据。这些数据可以包括书籍,文章,网站内容等。LLM 会使用这些数据来学习语言中的模式。然后,它可以使用这些模式来生成新文本,翻译语言,编写不同类型的创意内容,并以信息丰富的方式回答你的问题。

LLM 仍在开发中,但它们已经学会了执行许多类型的任务。它们可以生成文本,翻译语言,编写不同类型的创意内容,并以信息丰富的方式回答你的问题。随着 LLM 的不断发展,它们将变得更加复杂和强大。

大语言模型是如何靠概率来“写”出一篇文章:‍‍

每一步,ChatGPT都会生成一个带有概率的单词列表。
但若总是选择最高“概率”的单词,通常会得到一篇非常“平淡”的文章。
于是巫术出现了,有一个特定的所谓“温度”参数,它控制了较低排名的单词会被使用的频率。
对于文章生成,我们发现“温度”为0.8效果最好。
概率和随机性,再次显示出神奇的魔力。



 

标签:
来源:

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有