欧美vvv,亚洲第一成人在线,亚洲成人欧美日韩在线观看,日本猛少妇猛色XXXXX猛叫

windows安裝python的時(shí)候勾選pip默認(rèn)是會(huì)安裝好pip，不過在升級(jí)pip的時(shí)候，遇到了一個(gè)問題，在執(zhí)行了pip install --upgrade pip之后，卸載了當(dāng)前的pip，然后就沒有然后了[流淚]

沒有了pip安裝包可就麻煩了，那么除了重新安裝python之外，我們也可以單獨(dú)安裝pip

參考https://pip.pypa.io/en/stable/installing/，在windows環(huán)境下我們通過兩部就能完成最新的pip的安裝

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
py get-pip.py

Flash-attn（Flash Attention），作為一種用于神經(jīng)網(wǎng)絡(luò)模型的注意力機(jī)制，在處理序列數(shù)據(jù)時(shí)有顯著的優(yōu)勢(shì)，可以提高計(jì)算效率并減少內(nèi)存使用，特別是Transformer模型。它通過優(yōu)化數(shù)據(jù)布局和計(jì)算流程，降低了注意力計(jì)算的內(nèi)存訪問開銷，在本地部署大模型可以減輕GPU的開銷，加快推理速度。項(xiàng)目地址 ：https://github.com/Dao-AILab/flash-attention

然而，官方發(fā)布的版本只支持linux，沒有windows包，如果要在windows下安裝，要么使用docker,要么自己編譯，而自己編譯耗時(shí)很長(zhǎng)，而且也會(huì)遇到各種問題。這里我使用的是Brian Dashore編譯好的whl. 下載地址：https://github.com/bdashore3/flash-attention/releases

要注意選擇對(duì)應(yīng)的版本，首先查看自己的cuda版本，在CMD 里輸入：nvcc --version

我的本地環(huán)境如下：

系統(tǒng) windows10 ,python版本11,cuda版本12.1

下載對(duì)應(yīng)的版本為：flash_attn-2.5.9.post1+cu122torch2.3.1cxx11abiFALSE-cp311-cp311-win_amd64.whl

下載到本地后執(zhí)行，pip安裝：

pip install d:\downloads\flash_attn-2.5.9.post1+cu122torch2.3.1cxx11abiFALSE-cp311-cp311-win_amd64.whl

注意：安裝完成后，如果你以前已經(jīng)安裝過PyTorch，需要重新安裝一遍，否則運(yùn)行會(huì)報(bào)錯(cuò)。

打開網(wǎng)址https://pytorch.org/get-started/locally/ 選擇對(duì)應(yīng)的版本

根據(jù)pytorch.org給出的提示命令，在本地執(zhí)行安裝：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

安裝完成，寫一個(gè)簡(jiǎn)單的腳本檢驗(yàn)一下。

test.py

import flash_attn
print(flash_attn.__version__)

運(yùn)行結(jié)果如果正確輸出版本號(hào)，則表示安裝成功。