前言
最近讀者問我們 如果想自己本地部署Stable Diffusion本地環境， 需要買哪種顯卡？有些卡很貴，有什么區別
這個就要涉及到訓練卡和推理卡的區別，它們在設計和性能上有著明顯的差異，以適應不同的計算需求。
本文來解釋各自的優勢和應用場景，各自的優勢。
硬件指標
事實上，H100/A100 和最大的區別就在通信和內存上，算力差距不大。
H100 | A100 | 4090 | |
H100 | A100 | 4090 | |
Tensor FP16 算力 | 989 Tflops | 312 Tflops | 330 Tflops |
Tensor FP32 算力 | 495 Tflops | 156 Tflops | 83 Tflops |
內存容量 | 80 GB | 80 GB | 24 GB |
內存帶寬 | 3.35 TB/s | 2 TB/s | 1 TB/s |
通信帶寬 | 900 GB/s | 900 GB/s | 64 GB/s |
通信時延 | ~1 us | ~1 us | ~10 us |
售價 | 40000 | 000 | 00 |
NVIDIA 的算力表里面油水很多，比如 H100 TF16 算力寫的是 1979 Tflops，但那是加了 sparsity（稀疏）的，稠密的算力只有一半；
4090 官方宣傳 Tensor Core 算力高達 1321 Tflops，但那是 int8 的，FP16 直只有 330 Tflops。
推理和訓練有什么區別？
首先，訓練不僅需要存儲模型參數，還需要存儲梯度、優化器狀態、正向傳播每一層的中間狀態（activation），后面幾個比參數更大，對模型內存的需求量也更大。
其次，訓練任務是一個整體，流水線并行的正向傳播中間結果是需要存下來給反向傳播用的。為了節約內存而使用流水線并行，流水級越多，要存儲的中間狀態也就更多，反而加劇內存的不足。
而推理任務中的各個輸入數據之間并沒有關系，正向傳播每一層的中間狀態也不需要保存下來，因此流水線并行不需要存儲很多中間狀態。
大模型訓練卡：
特點
價格
訓練卡目前主要是以英偉達的 H100/H800/A100/A800 幾種型號為主，目前國內價格在 10-30 萬元每張居多。
邏輯推理卡：
特點
價格
推理卡常見的有 4060/4090/3060/3080/3090 等型號，價格在幾千到兩萬左右不等。
70B 推理需要多少張卡？
總的存儲容量也很好算，推理的時候最主要占內存的就是參數、KV Cache 和當前層的中間結果。
當 batch size=8 時，中間結果所需的大小是 batch size * token length * embedding size=8 * 4096 * 8192 * 2B=0.5 GB，相對來說是很小的。
70B 模型的參數是 140 GB，不管 A100/H100 還是 4090 都是單卡放不下的。那么 2 張 H100 夠嗎？看起來 160 GB 是夠了，但是剩下的 20 GB 如果用來放 KV Cache，
要么把 batch size 壓縮一半，要么把 token 最大長度壓縮一半，聽起來是不太明智。因此，至少需要 3 張 H100。
對于 4090，140 GB 參數 + 40 GB KV Cache=180 GB，每張卡 24 GB，8 張卡剛好可以放下。
總結
總得來說：推理可以用訓練卡，訓練不可以用推理卡。
相信聊了這么多，大家對 NVIDIA 這么多款 GPU 有了一定了解。知道自己要購買哪種顯卡了嘛？大家根據自己的經濟條件來選擇。
歡迎你分享你的作品道我們的平臺上. www.shxcj.com 或者 www.2img.ai 讓更多的人看到你的才華。
創作不易，覺得不錯的話，點個贊吧！！！
新華社北京8月14日電 題：沖突背后：如何暢通外賣配送“最后100米”？
新華社“新華視點”記者張璇、舒靜
日前，杭州一名保安與外賣騎手發生沖突，因外賣騎手下跪而引發廣泛關注。
類似事件屢有發生，折射出行為邊界、基層治理、平臺規則等深層次問題。暢通配送“最后100米”，共建“騎手友好社區”，仍需進一步推動制度建設。
沖突又起
12日，杭州綠城西溪世紀中心一名保安與外賣騎手發生沖突，網絡流傳一張黃衣騎手下跪的照片，部分外賣人員要求物業現場“道歉”。
一名參與聲援的外賣員告訴記者：“看到外賣員下跪的照片，我就過來了。雖然不認識當事人，但看到這一幕覺得很心酸。”
13日，多名外賣員說，此前該園區不能騎車進入，現在則可騎入。西溪世紀中心園區一名物業人員表示，目前他們對于外賣人員“只提醒，不強行攔”。
杭州市公安局西湖區分局發布通報稱：8月12日中午，某外賣平臺一男性外賣騎手王某某在我區西溪世紀中心園區送外賣過程中將欄桿踩歪，被園區保安攔下，該外賣員因擔心影響其他訂單派送遂下跪，后引發現場人員聚集。屬地派出所接警后立即出警赴現場處置，對涉事人員依法開展調查，后續將依據調查情況依法處理。
美團方面表示，沖突發生后，美團第一時間派遣專員前往現場協助騎手小哥處理沖突，并為其向物業支付圍欄維修費用。對于此次沖突中騎手可能遭遇的不公正對待問題，將根據騎手小哥的訴求提供各類相應援助。
盡管事件前因后果仍有待進一步調查，但這一偶然事件再次將外賣小哥與保安人員的矛盾暴露在公共視線之中。
“新華視點”記者梳理發現，類似矛盾并不鮮見。在此前警方通報事件中，有多起外賣小哥與保安人員發生爭執進而引發肢體沖突，甚至導致傷亡的事件。
不少外賣小哥向記者表示，自己曾被保安一次次告知或呵斥，“外賣車不能進”。
一名外賣小哥稱，某小區保安不允許外賣車進入，之后他騎平衡車去送單，出來后被保安拔掉車鑰匙，沖動下敲壞桌子，引發沖突。最終他賠了物業300元了事，還因配送超時被扣了錢。
與此同時，作為社區安全“守門人”，不少保安與物業管理人員也頗感無奈。
北京豐臺某小區一名物業經理說：“有些業主希望我們放松管理；有些業主則認為，騎手不登記進入小區，騎著電動車穿行，會增加安全隱患，要求加強管理。物業保安也是左右為難。”一名保安說：“之前有外賣騎手車速過快撞倒業主，不給進也是為了業主的安全著想。”
保安李師傅說，曾有業主投訴外賣員隨便進出小區；部分外賣小哥亂停亂放電動車，早晚高峰時業主也有意見；還有一些外賣小哥會跨欄、強行闖入，“我們的工作也不好做”。
矛盾背后
多次沖突暴露出外賣配送的“最后100米”難題。不少受訪人士認為，矛盾背后，是保安人員與外賣小哥分別承受的系統壓力，一些問題應進一步厘清。
不少物業人員表示，他們也理解外賣小哥不容易，但小區有相關規定，禁止騎行旨在保障老人、兒童的安全。
那么，物業及保安是否有權對外賣小哥做出限制性規定？
北京盈科（杭州）律師事務所律師甘海濱說，小區業主對小區公共區域具有物權。外賣員能否進入小區，應由業主大會或業主委員會根據小區實際情況、業主意愿及物業管理需要進行討論并作出決議。如果騎手造成物業設施損壞，可協商賠償，但不應直接罰款。
浙江省消保委網絡消費委員會委員、網經社電子商務研究中心主任曹磊表示，保安要維護安全秩序，而外賣員則要追求效率，兩者容易產生矛盾。部分保安自恃掌握看門的“權力”，容易表現得更為強勢。
甘海濱說，如果保安在執行小區管理規定時，采取非法手段，或使用暴力、侮辱性方式阻止外賣小哥進入小區，則構成對權力的濫用。
外賣小哥與保安、物業管理人員的矛盾背后，平臺經濟下勞動者面臨的壓力與權益困境也不容忽視。
5月1日，在山東省滕州市善國路，一名外賣小哥為顧客送餐。新華社發（李志軍攝）
1小時、45分鐘、30分鐘……近年來，外賣平臺配送速度不斷提升。此前，有外賣平臺在北京地區上線“15分鐘極速達”服務，并向用戶承諾“每超時1分鐘賠2元紅包，10元封頂”。
“您有一個訂單還有5分鐘超時”。這是讓外賣小哥們最有壓力的瞬間。
一名外賣騎手說，超時往往是因外界因素，而非騎手故意為之。比如，在午餐高峰期，一些商業體電梯繁忙，一上一下耗時很長；一些小區禁止騎車進入，騎手不得不走進去。然而，通過平臺申訴，理由往往被駁回。
“耽擱的每一分每一秒，都可能變成罰款和投訴。”有外賣騎手表示，前幾日跑的一單19元，因超時15分鐘，被平臺扣了8.5元。多名外賣小哥反映，大部分單子每單僅掙幾元錢，而配送的“最后100米”卻面臨多種阻礙，平臺應予以合理考量。
難題待解
如何更好破解難題，暢通外賣配送的“最后100米”？
受訪專家認為，不應簡單為此類事件“貼標簽”，推進制度建設是解決問題的關鍵，應推動更多主體介入，共同協商，尋求建設性的解決方案。
甘海濱建議，應進一步完善街道、社區、寫字樓等重點配送區域的基層治理。通過集體協商，明確行為守則。同時，制定更有效率的外來人員登記制度，通過人性化設置臨時停車區、送餐柜等設施，減少不必要的沖突。
記者了解到，已有平臺和部分街道、社區合作，探索平衡效率與安全的更優解。
據不完全統計，已有十幾個城市建立超過100個“騎手友好社區”，為騎手開通出入綠色通道、劃定專用停車區、建設騎手驛站等。在美團騎手App里，對應的小區地圖也進行了更新，騎手可更方便地查詢小區出入口和樓號。
3月15日在杭州市拱墅區祥符街道阮家橋社區城西銀泰城廣場拍攝的“小哥驛站”。新華社記者 黃宗治 攝
7月，同樣是在杭州，“小哥碼”正式推出。騎手獲得專屬電子通行證后，在一些小區掃碼就能進入，找樓也更方便。有小哥反饋，現在掃碼進門只要十幾秒，送單更快超時更少。
也有一些地方的物業采取了“換乘方案”。如在安徽省宿州市某小區，物業公司專門購置自行車放置在小區主要出入口，提供給外賣員、快遞員“換乘”。
2023年11月，人力資源社會保障部辦公廳印發《新就業形態勞動者休息和勞動報酬權益保障指引》《新就業形態勞動者勞動規則公示指引》《新就業形態勞動者權益維護服務指南》，為外賣騎手等群體系上保障的“安全帶”。指南提出，平臺企業要建立健全與新就業形態勞動者的常態化溝通機制和新就業形態勞動者申訴機制，暢通線上和線下溝通渠道。
多名外賣員表示，希望平臺更多關注配送“最后100米”的復雜情況，利用智能算法，優化獎懲機制與配送路線，減少因時間緊迫導致的沖突。對因“門難進”導致的超時罰款，設立更暢通的申訴渠道。
此外，曹磊等受訪人士建議，加強對外賣小哥的安全培訓，優化意外事件應對保障。引導物業公司完善管理方案，對保安人員加強服務意識、溝通技巧等培訓。“多一些換位思考，多一些相互理解。外賣小哥和保安人員都值得被更有溫度地對待。”