器之心報道

機器之心編輯部

在讀取語言之后，腦機接口也可以實時讀取人類腦中的畫面了。

由俄羅斯腦機接口公司 Neurobotics、莫斯科物理技術學院（MIPT）研發的一種全新腦機接口算法最近被公之于眾，它可以利用人工神經網絡和腦電圖將人類大腦中的圖像實時顯示在計算機屏幕上。而且，與馬斯克腦機接口公司研發的「大腦縫紉機 」不同，這種腦機接口無需開顱植入電極，在臨床和日常生活中應用更加廣泛。

一位被試正在使用該腦機接口。右下角是被試觀看實時畫面，右上角是通過腦機接口重建的畫面。

今年 7 月，Facebook 與加州大學舊金山分校（UCSF）有關腦機接口實時讀取人類語言的研究剛剛登上《Nature》子刊，其快速解碼的機器學習算法效果令人驚嘆。

現在看來，我們不僅有望實現「意念打字」，或許還可以使用人眼這一「精度超高」的攝像頭來進行錄像，實現科幻影視作品描繪的圖景。不過，這篇莫斯科物理技術學院的論文還沒有經過同行評審。

英劇《黑鏡》一集中的男主角過海關時被要求回放自己通過某種設備肉眼錄下的視覺記憶。

對于研究者來說，新成果使得構建由腦信號控制的中風后康復裝置成為可能。研究團隊在 bioRxiv 上發表了相關研究論文，還發布了一段他們「讀心」系統的效果視頻。雖然畫面比較模糊，但我們依然可以分辨出畫面中的大致場景類別（如人、瀑布、車景）。

視頻中原始圖像和神經網絡處理 EEG 信號重建的圖像對比（由于版權原因，人像原圖被替換了）。

為了構建這一設備，神經生物學家需要理解大腦如何編碼信息。其中一個關鍵方面是，研究人們在觀看視頻時感知視覺信息的大腦活動過程。

現有的解決方案是，要么使用功能磁共振成像來提取觀察到的圖像，要么通過植入物直接分析來自神經元的信號。兩種方法在臨床和日常生活中的應用都非常有限。

俄羅斯研究者開發的這種腦機接口依賴的是人工神經網絡和腦電圖（EEG），后者是一種可以通過非侵入式電極（無需手術植入）記錄腦電波的技術。通過分析大腦活動，該系統可以實時重現人類看到的圖像。

「我們正在進行國家技術計劃（National Technology Initiative）神經網絡輔助技術項目，該項目致力于構建一種腦機接口，讓中風患者控制手臂外骨骼、癱瘓患者駕駛電動輪椅等，最終目標是讓健康的人也能提高神經控制的準確率，」MIPT Neurorobotics 實驗室負責人 Vladimir Konyshev 表示。

技術細節

該腦機接口的構建實驗共分為兩個階段。

在第一階段，神經生物學家讓健康的人觀看一些 10 秒的 YouTube 視頻片段，總共 20 分鐘。研究團隊隨機選擇了 5 個視頻類別：抽象形態、瀑布、人臉、移動的裝置和汽車運動。

通過分析腦電圖數據，研究者發現，每一類視頻的腦電波是不同的。這使得研究小組能夠實時分析大腦對于視頻的反應。

在實驗的第二階段，研究者從五個類別中隨機選擇了三個類別并開發了一個本地反饋（native feedback）模型，反饋模型的核心思想是將腦機接口分類器的預測結果以自然圖像的形式呈現出來，而且要盡可能與實際觀察到的圖像接近。

該模型分為兩個神經網絡：一個用于從「噪聲」中生成隨機特定類別圖像，另一個根據腦電圖生成類似的「噪聲」。接下來，該團隊訓練這兩個網絡協同工作，將腦電圖信號轉換為與被試觀看內容相似的實際圖像。

論文中提到的本地反饋模型如下圖所示。

圖 2：本地反饋模型的總體方案。

將降維后得到的 20 維腦電圖特征向量映射到預先訓練好的圖像自編碼器的潛在空間中，這個自編碼器能夠重建幾個預學習類別的自然圖像。圖像解碼器不依賴于任何神經生理學數據，僅考慮一組刺激圖像即可進行預訓練。特征映射器是單獨訓練的，因為它既需要腦電圖特征庫，也需要一個訓練好的圖像解碼器。

圖像解碼器

圖像解碼器（ID）是圖像到圖像卷積自編碼器模型的一部分。編碼器部分基于預訓練的 VGG-11 模型。解碼器部分由全連接輸入層組成，用于維度增強，然后是 5 個解卷積塊，每個解卷積塊包含一個解卷積層，然后是 ReLU 激活。最后的解卷積塊包含雙曲正切激活層。解碼器生成 192×192×3 維的彩色圖像（見圖 3a）。

圖 3. 圖像解碼器.a）模型結構；b）常規訓練

除了圖像重建之外，解碼器還有一個特定的潛在空間分布。他們通過引入一個圖 3（b）所示的訓練過程來解決這個問題。

腦電圖特征映射器

腦電圖特征映射器的目標是將腦電圖特征域的數據轉換成圖像解碼器潛在空間域。在理想狀態下，觀察到的圖像和此時的腦電圖記錄最終會轉換為同一個潛在空間矢量圖，因此解碼器能夠根據剛才看到或想象的場景去生成一個正確的視覺圖像。

另一個問題是如何應對嘈雜的數據：由于存在未檢測到的偽像，或者被攝對象分散注意力，實時記錄場景中的腦電圖信號屬性可能會發生顯著變化。此時反饋系統應避免出現混亂的圖像切換，以免給觀察對象太多的壓力。

人類腦中的圖像是連續數據，所以使用循環神經網絡就變得順理成章了——新的算法使用了 LSTM 組件作為循環單元。此外，研究人員還整合了注意力機制。

圖 4，腦電圖特征映射。a）模型結構；b）訓練方法。

測試結果

為了測試該系統呈現頭腦活動的能力，研究者選了一些同一類的以前看過的視頻。正如他們看到的那樣，腦電圖被記錄下來，然后反饋給神經網絡。系統通過了測試，生成了具有可信度的圖像，90% 都可以很輕松地進行分類。

和大多數 AI 算法一樣，研究人員提出的神經網絡模型是用 Python 實現的，運行的計算機也只需普通臺式機：英特爾 i7 處理器，英偉達 GeForce 1050Ti 顯卡。在讀取的過程中，算法可以處理每秒 3 幀圖像。通常，在分類上約有 90% 的重建圖像是可識別的程度。

「此外，我們可以把這個當作實時腦機接口的基礎。在當前的技術條件下，Elon Musk 那樣的侵入式接口存在手術性質復雜和快速退化的問題——基本上幾個月內就失效了。我們希望可以最終設計出更實用也不需要植入的神經接口。」研究者補充道。

論文：https://www.biorxiv.org/content/10.1101/787101v2

參考內容：https://techxplore.com/news/2019-10-neural-network-reconstructs-human-thoughts.html

像及尺寸

我們經常會聽到矢量圖、像素、分辨率等一些詞語，它們到底是什么？又有什么關系？對于想學好PS的同學來說，這是必須要了解的知識。本期小編將為您介紹圖像、像素、分辨率的基本概念及關系，并應用實戰：打造屬于自己的桌面壁紙！

位圖與矢量圖

圖像主要分為兩類：一類是位圖，一類是矢量圖。

位圖是由多個像素組成的，當放大位圖時，可以看見圖像被分成了很多色塊（鋸齒效果），而且放大的位圖屬于失真狀態。我們平時拍的照片、掃描的圖片等都屬于位圖。

矢量圖是通過數學公式計算獲得的圖像，它最大的特點是無論放大多少倍都不失真，而且文件小、分辨率高，缺點是難以表現色彩層次豐富的逼真圖像效果。

Photoshop是典型的位圖軟件，但也包含矢量功能，例如文字、鋼筆工具等。

像素與分辨率

像素是構成位圖圖像最基本的單元，每個像素都有自己的顏色，像素越多，顏色信息就越豐富，圖像效果就越好！

分辨率是單位長度內包含像素點的數量，通常以像素每英寸ppi(pixels per inch)為單位來表示圖像分辨率的大小，例如分辨率為72ppi表示每英寸包含72個像素點，分辨率越高，包含的像素點就越多，圖像就越清晰，但占用的存儲空間就越大。

分辨率分為屏幕分辨率和圖像分辨率，例如：屏幕分辨率是1280×720，就是屏幕的水平方向上有1280個像素點，垂直方向上有720個像素點；一張圖片分辨率是800×500，就是說圖片在沒有縮放的前提下，水平方向有800個像素點，垂直方向有500個像素點。

常見屏幕分辨率

像素與分辨率的關系：二者關系密不可分，它們的組合決定了圖像的質量。分辨率=圖像水平方向的像素點數×圖像垂直方向的像素點數。例如1英寸×1英寸，分辨率為100ppi的圖像包含10000個像素（100像素×100像素）。

圖像大小

Photoshop cc2018"圖像大小"命令相比cs6版本有了較大的變化，它可以調整圖像的像素大小、分辨率及打印尺寸。

打開：菜單欄"圖像">"圖像大小"，快捷鍵"Alt+Ctrl+I"。

1.顯示當前圖像大小信息；

2.顯示當前圖像尺寸信息，尺寸單位包括百分比、像素、英寸、厘米、毫米、點、派卡；

3.提供了一些預設的分辨率尺寸；

4.當前圖像的高度、寬度尺寸，中間"小鎖"可以鎖定或取消長寬比；

5.圖像的分辨率；

6.圖像設定的計算方法。

此項勾選時，當修改圖像的寬度和高度，分辨率會依據計算方法自動修改，畫質看上去不會有改變。

取消此項勾選時，當修改圖像的寬度和高度，圖像的像素總量不會變化，也就是說減少寬度和高度，分辨率會自動增加，反之，分辨率會自動減少。

總結：如果圖像寬度和高度的調整尺寸超過原圖，圖像尺寸雖然會增大，但像素總量不變，分辨率會降低，也就是畫質會下降，所以，一般情況下，不建議圖像的尺寸調大到超過原圖。分辨率不變的前提下，減小圖像尺寸，畫質不會發生變化。

實例：打造屬于自己的桌面壁紙

我們在網上看到一張比較好看的圖片，或者想用自己家人的圖片來做桌面背景，但是設為背景后，卻發現圖片不是被拉伸了就是被壓縮了，反正不合適，這是因為沒有根據自己的屏幕調整好長寬比，下面給大家介紹調整長寬比的方法。

此外，做自媒體的朋友，想上傳大小一致或者其他要求的圖片（例如不改變圖像清晰度的情況下減小存儲大小），此方法同樣適用（以win10系統為例）：

1.查詢自己電腦的分辨率

在桌面鼠標右鍵選擇"顯示設置"，彈出設置對話框，找到自己顯示器的分辨率（例如1366×768）。

2.裁剪圖片

用PS打開壁紙圖片，選擇"裁剪工具"，在工具選項卡中選擇"比例"，依次輸入1366、768（這里輸入的只是圖像的長寬比例，并不是圖像本身大小），裁剪圖片。

對圖片儲存大小如果沒有要求的話，到此步就完成了。

3.調整圖像大小

對圖片儲存大小有要求的話（例如頭條對上傳圖片的要求是小于5M），還可以再調整一下圖片尺寸。菜單欄中打開"圖像">"圖像大小"，快捷鍵"Alt+Ctrl+I"，調整到一個合適的尺寸。

4.儲存圖片

看看設為壁紙后，圖片和顯示器是不是相當搭呢！