本地大模型開玩，手機大模型不遠矣⋯⋯

縱論
1

這是一個買更好電腦的最佳理由了。
但其實還是更隱私使用大模型更重要。
Have Fun⋯⋯

2

语言模型是占u还是占显 :thinking:

3

大型语言模型在本地运行通常对计算机的CPU（中央处理器）和GPU（图形处理器）都有较高的需求。具体来说：

  1. CPU占用：CPU主要负责模型的加载、数据的预处理、以及非并行部分的计算。对于没有优化为并行处理的任务，CPU的作用尤为重要。

  2. GPU占用：GPU在处理大型语言模型时尤为关键，因为它适合进行大量的并行运算。大部分现代的深度学习库和框架（如TensorFlow、PyTorch）都会利用GPU来加速计算过程，特别是在模型训练和执行大规模矩阵计算时。

简而言之，如果你在本机运行大型语言模型，主要的计算负担会落在GPU上，特别是在模型训练和大规模数据处理时。但CPU的作用也不可忽视，尤其是在处理不适合并行化的任务或数据预处理时。如果没有足够强大的GPU，大型模型可能会回落到CPU上运行，这将大大降低运算效率和速度。

4

跑ai竟然还得有好显卡
那些大公司做模型训练也往服务器上插显卡吗

5

https://www.zhihu.com/question/590321265
用GPT-4的話說是：

是的，游戏产业确实在很大程度上推动了显卡技术的发展，这反过来也对人工智能产业产生了重要影响。这两个领域之间的相互推动可以从几个方面来看：

  1. 显卡性能的提升：为了满足游戏对高分辨率和复杂图形处理的需求，显卡制造商（如NVIDIA和AMD）不断推出更加强大的GPU。这些技术进步也使得显卡更加适合执行机器学习和深度学习任务，因为这些任务同样需要大量的并行处理能力。

  2. 技术创新和应用扩展：游戏产业的需求促使显卡厂商开发了许多创新技术，比如实时光线追踪（Ray Tracing）等。这些技术不仅提升了游戏的视觉效果，也为其他应用，包括人工智能，在图形处理和数据处理上提供了新的可能性。

  3. 资金和研发投入：游戏产业对高性能显卡的大量需求带来了显著的经济效益，这使得显卡制造商能够再投资于研发。这些投入不仅用于开发更高性能的游戏显卡，也推动了专门针对AI计算的硬件产品的开发。

  4. 普及化和教育：随着游戏显卡在家庭和个人计算机中的普及，更多的开发者和研究者可以利用现有的硬件资源来开展AI相关的实验和研究。这降低了进入门槛，加速了AI技术的普及和教育。

因此，可以说游戏产业不仅推动了显卡技术的快速发展，也间接地推动了人工智能领域的创新和扩展，两者之间存在着密切且互利的关系。

6

你電腦能否跑大模型，自己看

7

https://playground.ai.cloudflare.com/
模型自己選，活菩薩出品。
image