準(zhǔn)備考研和參加工作的大學(xué)生，各自應(yīng)該怎樣分配學(xué)習(xí)精力？

作為一名大學(xué)計算機(jī)學(xué)院的老師，在用幾年時間對很多大三的學(xué)生進(jìn)行觀察后，我發(fā)現(xiàn)了一個分化現(xiàn)象。

那些打算讀研或保研的大三學(xué)生，會非常重視上課。他們會把書本上的公式背得滾瓜爛熟，反復(fù)做習(xí)題，以期待在期末考試中能夠有好成績。而那些不打算讀研的學(xué)生，會把大部分精力放在找工作上，有些人甚至花了一年的時間反復(fù)做公司的面試題，他們對于大學(xué)課程通常抱著及格即可的態(tài)度。

圖片來源：圖蟲創(chuàng)意

你肯定也看出這兩種態(tài)度各自的弊端了：只看書本反復(fù)做題的，如果沒能如愿讀研，就業(yè)情況可能不會太樂觀；一心只想找工作的，專業(yè)基礎(chǔ)很可能未得到夯實。

如果拋開為了保研或考研而努力學(xué)習(xí)這些課程的情況，我們又應(yīng)該以怎樣的態(tài)度對待這些課程呢？我想，我們可以從人工智能的遷移學(xué)習(xí)中得到一些啟發(fā)。

機(jī)器的遷移學(xué)習(xí)算法，是人腦本身就具有的能力

人工智能在近幾十年內(nèi)發(fā)展得如火如荼，涌現(xiàn)了包括“多任務(wù)學(xué)習(xí)”“遷移學(xué)習(xí)”“強(qiáng)化學(xué)習(xí)”等多種學(xué)習(xí)算法，這些學(xué)習(xí)算法讓一個模型具有強(qiáng)大的智能。其中，遷移學(xué)習(xí)是很重要的一種模式。

我讀大學(xué)時，一位教授在介紹遷移學(xué)習(xí)時舉了駕駛員開車的例子：

我們知道，在中國汽車靠右行駛，而在澳大利亞等地的汽車靠左行駛。如果一個國內(nèi)的人去澳大利亞自駕游，怎樣避免自己逆行呢？

關(guān)鍵點在于找到兩個國家在駕駛方面的共性。在中國，駕駛的位置在汽車左側(cè)；而在澳大利亞，駕駛的位置在右側(cè)。這樣，我們就可以找到一條共用規(guī)則：不管在哪里行駛，駕駛員都要讓自己的位置比副駕更靠近道路的中心線。當(dāng)我們挖掘出這條共性時，駕駛員就可以很容易地將駕駛習(xí)慣順利地從一個國家“遷移”到另一個國家。

這就是遷移學(xué)習(xí)，即通過自動挖掘源領(lǐng)域和目標(biāo)領(lǐng)域之間的“共性”，實現(xiàn)知識從源領(lǐng)域到目標(biāo)領(lǐng)域的遷移。

通俗來講，遷移學(xué)習(xí)就是把在某一個領(lǐng)域?qū)W到的知識，用于幫助另外一個領(lǐng)域內(nèi)的任務(wù)更好地完成。為了方便理解，遷移學(xué)習(xí)把第一個領(lǐng)域稱為“源領(lǐng)域”，第二個領(lǐng)域稱為“目標(biāo)領(lǐng)域”。遷移學(xué)習(xí)希望能夠把在“源領(lǐng)域”中學(xué)習(xí)到的知識運(yùn)用到“目標(biāo)領(lǐng)域”中。

人其實很會做遷移學(xué)習(xí)，如果你會騎自行車，那么你學(xué)騎摩托車、騎電動車會更容易；如果你會打羽毛球，那么你學(xué)打網(wǎng)球就會很輕松；如果你會蛙泳，那么你學(xué)習(xí)自由泳的速度一定會比一個不會游泳的人更快。

遷移學(xué)習(xí)的難點是克服源領(lǐng)域和目標(biāo)領(lǐng)域之間存在的差異。想把源領(lǐng)域的知識“遷移”到目標(biāo)領(lǐng)域，關(guān)鍵在于找到這兩個領(lǐng)域之間的“共性”。

以游泳為例。如果你學(xué)會了蛙泳，那么你學(xué)習(xí)自由泳的速度一定會比一個不會游泳的人更快。這是因為“蛙泳”和“自由泳”的游泳姿態(tài)雖然不一樣，但是在換氣以及游泳時身體的協(xié)調(diào)感、水感等方面存在共性。你學(xué)會了蛙泳，自然掌握了這些共性，你學(xué)自由泳也就更容易。

根據(jù)“共性”的類別區(qū)分遷移學(xué)習(xí)的不同模式

共性有很多類別，我們可以按照共性的類別將遷移學(xué)習(xí)分為幾類。

第一類是“基于示例的遷移學(xué)習(xí)”（instance-based transfer learning）。

雖然源領(lǐng)域和目標(biāo)領(lǐng)域的數(shù)據(jù)總體看起來不一樣，但是源領(lǐng)域中的某些數(shù)據(jù)樣本很可能和目標(biāo)領(lǐng)域中的比較相似。這時候，如果我們在源領(lǐng)域中找到這些數(shù)據(jù)，并在訓(xùn)練時重點關(guān)注這些數(shù)據(jù)，讓模型盡量對這些數(shù)據(jù)進(jìn)行正確的分類，那么在經(jīng)過這樣的校準(zhǔn)后，從源領(lǐng)域上得到的模型在應(yīng)用于目標(biāo)領(lǐng)域時效果就會比較好了。

第二類是“基于特征的遷移學(xué)習(xí)”（feature-based transfer learning）。

在機(jī)器學(xué)習(xí)中，模型總是先對數(shù)據(jù)（例如圖像等）進(jìn)行處理，提取數(shù)據(jù)的“特征”，然后基于特征完成各種給定的任務(wù)（例如分類等）。

因此，如果我們能找到源領(lǐng)域數(shù)據(jù)和目標(biāo)領(lǐng)域數(shù)據(jù)之間的一些共性特征，就更能把源領(lǐng)域中的知識用到目標(biāo)領(lǐng)域。

第三類是“基于模型的遷移學(xué)習(xí)”（model-based transfer learning）。

用于圖像識別的深度神經(jīng)網(wǎng)絡(luò)是有分層的。研究人員發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)中更靠近輸入的一些分層，識別的主要是物體的輪廓、曲線、線條等基本特征，這些基本特征通常和任務(wù)或領(lǐng)域無關(guān)。而更靠近輸出的分層才和具體的任務(wù)或領(lǐng)域相關(guān)。

比如，現(xiàn)在我們用大量的貓和狗的圖片訓(xùn)練出一個可以區(qū)分貓和狗的深度神經(jīng)網(wǎng)絡(luò)，那么這個神經(jīng)網(wǎng)絡(luò)更靠近輸入的幾層，同樣可以幫助我們很好地完成區(qū)分牛和馬的任務(wù)。這樣，我們可以把在源領(lǐng)域訓(xùn)練中得到的模型中更靠近輸入的幾層參數(shù)固定下來，目標(biāo)領(lǐng)域的數(shù)據(jù)只用來訓(xùn)練剩下那些層的參數(shù)。

如何將學(xué)校知識遷移到將來的工作中？

以大三學(xué)生為例：

如果利用遷移學(xué)習(xí)中“基于示例的遷移學(xué)習(xí)”這一思想，那么一個人的學(xué)習(xí)方式應(yīng)該是這樣的：首先找到某些與將來的“工作技能”密切相關(guān)的“課本知識”，然后在上課學(xué)習(xí)的過程中為它們設(shè)定更高的權(quán)重。

例如，如果一個人將來打算從事人工智能算法方面的工作，他應(yīng)該重點關(guān)注這些課程并更用心地學(xué)習(xí)“算法設(shè)計與分析”“智能計算導(dǎo)論”“線性代數(shù)”“概率統(tǒng)計”等課程。這樣他的“課本知識”就可以更好地遷移到將來的工作中。

如果利用“基于模型的遷移學(xué)習(xí)”這一思想，那么他在上課學(xué)習(xí)的過程中，應(yīng)該有意培養(yǎng)一些很容易擴(kuò)展到將來“工作技能”中的底層能力。

例如，將來不管將來從事什么工作，都需要有表達(dá)能力。在公司，可能你所在的團(tuán)隊在完成了某個重要的項目之后，通常需要和領(lǐng)導(dǎo)匯報情況，讓領(lǐng)導(dǎo)知道團(tuán)隊的工作對公司很重要，團(tuán)隊的人員能力很強(qiáng)，領(lǐng)導(dǎo)應(yīng)該給團(tuán)隊更多的資源。要想達(dá)到上面的目的，就需要匯報人具有較強(qiáng)的表達(dá)能力。因此，在大學(xué)里，一個學(xué)生需要有意識地培養(yǎng)自己的表達(dá)能力?，F(xiàn)在很多老師都會在課堂上和學(xué)生進(jìn)行交流，這時候你就需要積極主動地表達(dá)自己的觀點。很多學(xué)生會在本科階段就進(jìn)入實驗室做科研，如果是這樣，在每周實驗室的組會上也要把自己的 PPT 做好，借此機(jī)會清晰地表達(dá)自己的工作。這些都是培養(yǎng)表達(dá)能力的重要手段。

如果一個學(xué)生選擇使用遷移學(xué)習(xí)，通過挖掘“課本知識”和“工作技能”之間的共性，就可以讓他當(dāng)前學(xué)習(xí)的“課本知識”更好地為“工作技能”服務(wù)。用遷移學(xué)習(xí)訓(xùn)練完，“當(dāng)下的他”就具有了更好地掌握“工作技能”的能力。

所以，當(dāng)一個面臨讀研和就業(yè)選擇的大學(xué)生使用遷移學(xué)習(xí)的方法，他就能既掌握好書本知識，又訓(xùn)練出與未來工作適配的技能。

文章由科普中國-星空計劃（創(chuàng)作培育）出品，轉(zhuǎn)載請注明來源。

作者：北京航空航天大學(xué)副教授、博士生導(dǎo)師 劉雪峰

審核：華中師范大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)學(xué)院 副教授 鄧清泉