言
英特爾在去年底正式發(fā)布了新一代移動(dòng)端處理器，酷睿Ultra系列，堪稱英特爾40年來(lái)最大的架構(gòu)變革。該系列處理器的亮點(diǎn)之一就是首次在客戶端芯片上加入了神經(jīng)處理單元（NPU），從而大幅提升了筆記本的AI性能表現(xiàn)。這標(biāo)志著個(gè)人電腦（PC）不再僅僅是執(zhí)行日常簡(jiǎn)單任務(wù)的工具，而是變成了能夠處理復(fù)雜AI運(yùn)算的高性能設(shè)備，為開發(fā)者和用戶提供了更廣泛的創(chuàng)造能力。
隨著各大廠商紛紛推出搭載新處理器的產(chǎn)品，在PC本地部署大模型已成為可能。本地部署大模型是指在本地計(jì)算資源（如個(gè)人計(jì)算機(jī)、服務(wù)器或?qū)Ｓ糜布┥习惭b、配置和運(yùn)行大型人工智能模型的過(guò)程，而不是通過(guò)云服務(wù)或遠(yuǎn)程服務(wù)器訪問(wèn)這些模型。這種部署方式允許用戶直接在本地設(shè)備上處理和分析數(shù)據(jù)，而無(wú)需將數(shù)據(jù)發(fā)送到外部服務(wù)器。過(guò)去受限于硬件的計(jì)算能力，本地部署往往只適用于搭載了專業(yè)硬件的昂貴設(shè)備；但隨著技術(shù)的發(fā)展，普通電腦用戶現(xiàn)在也可以在筆記本這樣的消費(fèi)級(jí)電腦上部署大模型，領(lǐng)略AI的魅力。
本地部署大模型的優(yōu)勢(shì)主要體現(xiàn)在以下幾個(gè)方面：
隱私和安全性：對(duì)于處理敏感或私有數(shù)據(jù)的應(yīng)用，本地部署可以減少數(shù)據(jù)泄露的風(fēng)險(xiǎn)，因?yàn)樗袛?shù)據(jù)都儲(chǔ)存在本地，沒有通過(guò)互聯(lián)網(wǎng)傳輸。
性能和響應(yīng)時(shí)間：本地部署可以減少網(wǎng)絡(luò)延遲對(duì)響應(yīng)時(shí)間影響，特別是在需要實(shí)時(shí)或近實(shí)時(shí)處理的應(yīng)用中。直接在本地硬件上運(yùn)行模型可能更快地獲得結(jié)果。
可靠性：本地部署模型不依賴于持續(xù)的云服務(wù)連接，這意味著即使在網(wǎng)絡(luò)連接不穩(wěn)定或中斷的情況下，應(yīng)用仍然可以正常運(yùn)行。
成本控制：雖然本地部署需要前期投資購(gòu)買硬件設(shè)備，但從長(zhǎng)遠(yuǎn)看可以避免持續(xù)的云服務(wù)費(fèi)用，特別是對(duì)于需要大量計(jì)算資源的任務(wù)。
自定義配置：本地部署允許用戶根據(jù)具體需求定制硬件和軟件配置，提供更高的靈活性和控制能力。
在以往，本地部署大模型的最大缺點(diǎn)可能就是高性能計(jì)算硬件帶來(lái)的不菲費(fèi)用。如今，隨著PC性能的進(jìn)步，本地部署對(duì)普通用戶已不再是遙不可及。不過(guò)，在PC部署大模型并非完美無(wú)缺。現(xiàn)階段單一PC的性能仍不能與大型企業(yè)使用的專業(yè)設(shè)備媲美。可以預(yù)料的是，在PC上部署的大模型同企業(yè)提供的API在性能、效果等方面會(huì)存在一定差距，但這并不會(huì)掩蓋本地部署的價(jià)值。下文為針對(duì)某款32GB內(nèi)存版本的PC進(jìn)行本地部署大模型的簡(jiǎn)單實(shí)測(cè)。
初步測(cè)試
本文選擇了幾款輕量模型并對(duì)它們?cè)赑C上的表現(xiàn)進(jìn)行了簡(jiǎn)單評(píng)估，包括gemma-2b-it、gemma-7b-it、gemma-7b-it-fp16、qwen-4b-chat、qwen-7b-chat以及qwen-14b-chat。評(píng)估覆蓋了量化參數(shù)、文件大小、CPU與內(nèi)存占用、英文和中文的生成速度，結(jié)果如下：
初步評(píng)價(jià)
● gemma-2b-it模型在文件大小和生成速度上表現(xiàn)出色。
● 7b以上的模型生成速度在實(shí)際測(cè)試中體驗(yàn)不佳，可感到明顯卡頓。
● gemma-7b-it-fp16未進(jìn)行量化，雖然文件體積大，但適合對(duì)生成質(zhì)量有更高要求的場(chǎng)景。
● 對(duì)于測(cè)試用的一組相對(duì)簡(jiǎn)單的問(wèn)題的中英文版本，幾個(gè)模型的對(duì)應(yīng)的中英文回答無(wú)明顯差異。（測(cè)試問(wèn)題見文末）
綜上，以下選擇 gemma-2b-it（4-bit 量化版本）與qwen-4b-chat（4-bit 量化版本）進(jìn)行進(jìn)一步測(cè)試。
進(jìn)階測(cè)試
模型本身知識(shí)（詳細(xì)問(wèn)題見文末）：
l 案例1 新聞知識(shí)問(wèn)答
為測(cè)試模型的時(shí)效性，即其能夠根據(jù)最新的新聞內(nèi)容提供答案的能力，我們模擬了一個(gè)金融場(chǎng)景下的問(wèn)答。我們提供一則關(guān)于大眾投資小鵬汽車的金融新聞，并讓兩個(gè)模型回答大眾的投資金額。
gemma-2b-it和qwen-4b-chat均回答正確。
l 案例2 錯(cuò)誤的召回知識(shí)問(wèn)答
接下來(lái)我們模擬提供的知識(shí)和問(wèn)題并不相關(guān)的情況，測(cè)試模型能否回答不知道。我們同樣給出大眾投資小鵬汽車的金融新聞，但問(wèn)奧迪對(duì)小鵬的投資金額，注意，這個(gè)問(wèn)題不是在新聞中可以獲得的信息。
gemma-2b-it正確回答了不知道，但qwen-4b-chat未作出合適的回答。
l 案例3 非常識(shí)性知識(shí)問(wèn)答
不同于常識(shí)性的知識(shí)可由訓(xùn)練數(shù)據(jù)的增多得到加強(qiáng)，小眾的專業(yè)領(lǐng)域知識(shí)以及人為編造的知識(shí)一般很少會(huì)被包含在模型之中。這個(gè)例子中，我們提供一段和游戲 《我的世界》中紅寶石相關(guān)的語(yǔ)料，并問(wèn)模型如何獲得紅寶石。
英文下，gemma-2b-it和qwen-4b-chat均只回答出了3種正確方式中的2種。
中文下，gemma-2b-it只回答出一種，但qwen-4b-chat回答出了全部正確方式。
l 案例4復(fù)雜來(lái)源的輸入
在實(shí)際業(yè)務(wù)場(chǎng)景中，經(jīng)常會(huì)遇到多種多樣的文本格式。這個(gè)例子中，我們提供 GitHub 中的一個(gè)與 Tailwind CSS 有關(guān)的 README.md——這個(gè)文檔因含有大量的 Markdown 記號(hào)所以內(nèi)容較復(fù)雜——然后詢問(wèn)模型哪些網(wǎng)站使用了Tailwind。
gemma-2b-it和 qwen-4b-chat各自回答了不同的部分網(wǎng)站，但都正確。gemma-2b-it在中文下措辭稍有不足。
l 案例5數(shù)學(xué)計(jì)算問(wèn)題
數(shù)學(xué)計(jì)算問(wèn)題指的是需要運(yùn)用數(shù)學(xué)方法和原理來(lái)解決的問(wèn)題。不同于前幾個(gè)問(wèn)題對(duì)答案有或多或少的寬容度，數(shù)學(xué)計(jì)算問(wèn)題需要極其完善的邏輯推理才能被準(zhǔn)確回答，即使是簡(jiǎn)單的加減乘除運(yùn)算。我們提問(wèn)了一個(gè)百位數(shù)乘千位數(shù)的問(wèn)題。
gemma-2b-it和qwen-4b-chat均回答錯(cuò)誤。
外掛知識(shí)庫(kù)：
l 在WebUI中上傳相同內(nèi)容的pdf及docx文件，并測(cè)試模型能否總結(jié)全文以及抽取關(guān)鍵信息。結(jié)果如下
l 部分截圖如下
實(shí)測(cè)總結(jié)
實(shí)測(cè)中重點(diǎn)測(cè)試的兩個(gè)模型各有所長(zhǎng)。gemma-2b-it 更適合需要快速文本生成和處理中文內(nèi)容的場(chǎng)景，但需要注意其在處理特定文檔格式上的限制。qwen-4b-chat 顯示出更好的外掛文檔處理能力和較高的文檔兼容性，盡管在總結(jié)能力上有待提高（外掛長(zhǎng)文本總結(jié)可考慮7b版本），但在信息抽取方面表現(xiàn)良好。針對(duì)特定場(chǎng)景應(yīng)根據(jù)具體需求考慮模型的生成速度、處理能力和文檔兼容性擇優(yōu)選擇模型。
未來(lái)展望
芯片制造及軟件技術(shù)正蓬勃發(fā)展，可以預(yù)料AI PC在將來(lái)會(huì)有以下方面的進(jìn)步：
硬件改進(jìn)：隨著專門為AI計(jì)算設(shè)計(jì)的硬件變得更加普及并集成到消費(fèi)級(jí)PC中，本地與基于云的模型性能之間的差距將縮小，使得更復(fù)雜的模型能夠在PC上高效運(yùn)行。
軟件優(yōu)化：模型優(yōu)化技術(shù)的進(jìn)步將在使大型模型更適合PC部署中發(fā)揮關(guān)鍵作用。如模型剪枝、量化和知識(shí)蒸餾等技術(shù)將允許在減少計(jì)算需求的同時(shí)保持模型性能。
去中心化：未來(lái)可能會(huì)看到向去中心化AI生態(tài)系統(tǒng)的轉(zhuǎn)變，其中模型不僅被共享，還由全球用戶社區(qū)協(xié)作改進(jìn)。去中心化使部署模型變得更加容易，并促進(jìn)創(chuàng)新和隱私保護(hù)。
而當(dāng)PC的性能日漸強(qiáng)大，許多曾經(jīng)難以想象的AI應(yīng)用將變得觸手可及，例如：
實(shí)時(shí)AI翻譯和同聲傳譯：提升的計(jì)算能力將允許PC實(shí)時(shí)處理復(fù)雜的語(yǔ)言模型，提供更準(zhǔn)確、自然的翻譯和同聲傳譯，大幅提升國(guó)際交流的便捷性。
高級(jí)個(gè)性化學(xué)習(xí)：AI可以根據(jù)學(xué)習(xí)者的進(jìn)度、偏好和反饋，實(shí)時(shí)調(diào)整教學(xué)內(nèi)容和方法，提供高度個(gè)性化的學(xué)習(xí)體驗(yàn)。這將使在線教育更加高效和吸引人。
虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）的普及：更強(qiáng)大的處理能力將使PC能夠流暢運(yùn)行高質(zhì)量的VR和AR應(yīng)用，為用戶提供沉浸式的游戲、模擬訓(xùn)練和遠(yuǎn)程工作體驗(yàn)。
本地AI創(chuàng)作：包括文本、圖像、音樂和視頻等內(nèi)容的AI創(chuàng)作工具將變得更加強(qiáng)大和易用，使創(chuàng)作者能夠輕松產(chǎn)生高質(zhì)量的作品，促進(jìn)思想表達(dá)和內(nèi)容創(chuàng)新。
高級(jí)數(shù)據(jù)分析和可視化：PC將能夠處理更大規(guī)模的數(shù)據(jù)集，并運(yùn)行復(fù)雜的機(jī)器學(xué)習(xí)模型來(lái)分析數(shù)據(jù)，為研究、商業(yè)分析和決策提供強(qiáng)大支持。
實(shí)時(shí)3D渲染和模擬：在工程設(shè)計(jì)、建筑、游戲開發(fā)等領(lǐng)域，更強(qiáng)的計(jì)算能力將允許實(shí)時(shí)渲染復(fù)雜的3D模型和環(huán)境，加速設(shè)計(jì)和測(cè)試過(guò)程。
智能家居和物聯(lián)網(wǎng)（IoT）集成：PC將成為家庭智能設(shè)備管理的中心，能夠處理和分析來(lái)自各種設(shè)備的數(shù)據(jù)，提供更加智能化和個(gè)性化的家居體驗(yàn)。
高效能的個(gè)人助理：基于AI的個(gè)人助理將因更強(qiáng)大的計(jì)算能力而變得更加智能，能夠更好地理解和預(yù)測(cè)用戶的需求，提供更加貼心和高效的服務(wù)。
深度偽造檢測(cè)和網(wǎng)絡(luò)安全：隨著PC性能的提升，可以期待更加強(qiáng)大的客戶端安全工具出現(xiàn)，用于檢測(cè)和防范深度偽造內(nèi)容和各種網(wǎng)絡(luò)攻擊，保護(hù)用戶的隱私和數(shù)據(jù)安全。
云游戲和云計(jì)算服務(wù)的本地化：原本需要依賴云端服務(wù)器處理的高負(fù)荷任務(wù)，如高端游戲和專業(yè)軟件，可能會(huì)逐漸轉(zhuǎn)移到本地處理，減少對(duì)網(wǎng)絡(luò)連接的依賴，降低延遲，提高用戶體驗(yàn)。
結(jié)語(yǔ)
隨著新一代處理器的推出，個(gè)人計(jì)算機(jī)的AI性能和應(yīng)用范圍已迎來(lái)歷史性的飛躍。從實(shí)測(cè)結(jié)果來(lái)看，即使面臨性能、效率以及兼容性的挑戰(zhàn)，本地部署大模型仍然展現(xiàn)出巨大的潛力和多樣的應(yīng)用前景。這不僅僅是技術(shù)進(jìn)步的象征，更是開啟了個(gè)人用戶探索AI世界的新篇章，使得復(fù)雜數(shù)據(jù)分析、內(nèi)容創(chuàng)作、虛擬現(xiàn)實(shí)等高級(jí)AI功能不再是云計(jì)算和大型數(shù)據(jù)中心的專利。展望未來(lái)，個(gè)人計(jì)算機(jī)的AI能力提升將會(huì)促進(jìn)新一代軟硬件解決方案的出現(xiàn)，推動(dòng)AI技術(shù)的普及，使得更多的個(gè)人和小型企業(yè)能夠利用強(qiáng)大的AI工具來(lái)解決實(shí)際問(wèn)題、創(chuàng)造新的價(jià)值。這個(gè)社會(huì)正處在這場(chǎng)技術(shù)革命的前沿，每一個(gè)創(chuàng)新都可能解鎖前所未有的機(jī)遇，為人類的工作和生活方式帶來(lái)深刻的改變。
嘍大家好，我是小分手。我是一名在深圳工作的某品牌車企的資深內(nèi)外飾設(shè)計(jì)工程師，作為一名資深的設(shè)計(jì)工程師，平時(shí)我主要在平面設(shè)計(jì)、AI繪圖、3DS Max渲染以及復(fù)雜模型曲面制作等場(chǎng)景進(jìn)行創(chuàng)造生產(chǎn)力。這讓我對(duì)電腦的性能要求非常高。
我們都知道CPU在計(jì)算的時(shí)候數(shù)據(jù)都是在內(nèi)存條中進(jìn)行處理，因此在大量的數(shù)據(jù)需要處理的時(shí)候內(nèi)存條的容量以及它的工作頻率對(duì)電腦的性能影響尤為重要。無(wú)論處理器顯卡配置有多高，如果內(nèi)存條的容量不足的話電腦的性能一定會(huì)嚴(yán)重的拖后腿。因此超大容量的內(nèi)存已經(jīng)逐漸成為專業(yè)用戶的剛需。而光威神策DDR596GB很好的滿足了我的需求。
它不僅擁有超大的容量，優(yōu)秀的性能還擁有高顏值、夢(mèng)幻水晶一樣的發(fā)光。它搭載的是最新的海力士M-die顆粒，單顆容量為3GB，單條內(nèi)存雙面布置16顆共計(jì)48GB的容量，出廠即擁有6400MHz的工作頻率。要知道雙面顆粒的大容量?jī)?nèi)存性能一般相對(duì)較弱。
下面我們就來(lái)看看光威神策DDR596GB的性能到底怎么樣。裝機(jī)后在主板的BIOS中選擇XMP，一鍵超頻到6400MHz，此時(shí)時(shí)序低至CL32。進(jìn)入 windows 后通過(guò)AIAD64的測(cè)試可以看到內(nèi)存讀取速度為98.9GB每秒，寫入為91.9GB每秒，無(wú)顯示為95.5GB每秒，內(nèi)存的延遲為7點(diǎn)1拉秒，這個(gè)成績(jī)是相當(dāng)不錯(cuò)的，并且可以完美的通過(guò)TM5內(nèi)存穩(wěn)定性測(cè)試。
那么我們繼續(xù)玩玩它的強(qiáng)力如何經(jīng)過(guò)幾方測(cè)試：光為神測(cè)Save configuration and exit？最高工作頻率為7600G*[自動(dòng)]。此時(shí)內(nèi)存的性能讀取為108.9GB每秒，寫入為100.1GB每秒，讀顯示為101.7GB每秒，內(nèi)存的延遲為七十一點(diǎn)一拉秒，這個(gè)性能再次提升不少。
但畢竟搞設(shè)計(jì)生產(chǎn)的電腦運(yùn)行的穩(wěn)定性很重要，因此不建議極限超頻使用，最終在7000MHz的頻率下，官光威神策96GB套條可以完美的通過(guò)TM5的測(cè)試，是它的最優(yōu)工作頻率。現(xiàn)在光成神策DDR596GB，是時(shí)候發(fā)光發(fā)熱了。在4K視頻線性編輯中，即便項(xiàng)目的素材高達(dá)幾十GB，甚至100GB以上，此時(shí)各個(gè)素材加載更迅速，剪輯也不再卡頓，相當(dāng)?shù)牧鲿常笃诩糨嫷男蚀蠓忍嵘?/p>
而在3DS Max渲染的應(yīng)用中，即便再?gòu)?fù)雜的高精度模型、復(fù)雜場(chǎng)景以及大量反射燈光的項(xiàng)目渲染中，模型打開的速度更快，渲染場(chǎng)景的加載也提升明顯。另外AI會(huì)務(wù)中高達(dá)幾十GB的模型庫(kù)數(shù)據(jù)加載也更快，以往打開要四五分鐘以上的，而現(xiàn)在1分鐘左右即可加載完畢，提升的相當(dāng)明顯。不得不說(shuō)大內(nèi)存是真香！
總的來(lái)說(shuō)，在我的創(chuàng)作中，光威神策DDR5 6400MHz 48GB*2，它不僅僅是提升了我的工作效率，更是提升了我的工作能力。因?yàn)樾侍嵘屛矣懈嗟臅r(shí)間和精力去提升我的工作創(chuàng)意。這個(gè)升級(jí)相當(dāng)值，它的售價(jià)僅僅2599元。相比國(guó)際品牌同規(guī)格的產(chǎn)品，它的售價(jià)便宜幾百元甚至上千元，可謂誠(chéng)意滿滿。
它的容量大、頻率高、顏值高。兩套光威神策DDR5 6400MHz 48GB*2，還可以組建192GB的超大容量?jī)?nèi)存。不過(guò)4條的話建議降頻使用，以確保穩(wěn)定性。
如果你從事專業(yè)工作，電腦需要大量數(shù)據(jù)處理，那么升級(jí)大容量?jī)?nèi)存很有必要。這套光威神策DDR5 6400MHz 48GB*2的套條安利給你。
生活中經(jīng)常可以見到模型，房子、汽車、電腦、風(fēng)扇，都是，這些東西都是經(jīng)過(guò)不斷改進(jìn)造成的，并不是一下子就完成的，造手機(jī)，先得造工程樣機(jī)，看是否好用，才能大批量生產(chǎn)。
你每天起床，穿衣服、洗漱、吃早餐、上班，都是需要模型的，不可能每天都推理一遍自己要做什么，都是需要參考模型的。
國(guó)家管理也是需要模型的，公路的寬度需要參考以往的車流量，監(jiān)獄的容量需要參考犯罪率，電力的功率需要參考用電量，如果沒有模型，是不能治理國(guó)家的。
經(jīng)營(yíng)公司也需要模型。產(chǎn)品的生產(chǎn)需要模型，不然怎么保證產(chǎn)品合格、實(shí)用。產(chǎn)品的生產(chǎn)數(shù)量也是需要參考市場(chǎng)模型的，不然一股腦得生產(chǎn)，賣不出去怎么辦？產(chǎn)品的工藝也是需要參考市場(chǎng)上的模型的，不然技術(shù)落后怎么賣得出去？
模型很重要，生產(chǎn)產(chǎn)品，生活起居，政策施行，科研考察，救死扶傷都需要參考模型進(jìn)行，不然，每次都推演一遍，還不把人累死