Only the top encoder layer feeds the decoder
append to input Next token ? Input tokens I love you Output tokens [start] 我 爱 你