文/苏格历史
作为第5代无线通信系统的关键技术，大规模多输入多输出是当前最具有吸引力的未来无线接入技术之一。
但为了能获得大规模多输入多输出(
MultipleInputMultipleOutput，MIMO)带来的容量增益，基站端(BS)需要准确的接收到来自移动端(UserEquipment，UE)的信道状态信息(ChannelStateInformation，CSI)反馈。
在时分双工(TimeDivisionDuplex，TDD)模式下，下行信道状态信息可以根据信道的互易性从上行链路获得，而在频分双工(FrequencyDivisionDuplex，FDD)模式下，信道不存在互易性。信道状态信息必须通过UE端进行信道估计然后反馈给(BaseStation，BS)基站端。
尽管TDD模式为当前工作主流模式，但FDD模式下的低延迟特性在未来许多场景中可以得到充分的应用。天线数量的增加带来反馈开销的急剧上升，因此减少反馈开销的研究也随之展开。
传统的信道反馈技术包括基于DFT码本反馈，其中包括基于角域的降维子空间码本反馈；基于信道统计特性的反馈以及基于压缩感知的CSI反馈。然而压缩感知技术中是基于稀疏性假设，迭代重构效率很低，需要经验设置超参数，这会带来很大的不确定性。
这些方法只考虑到了信道的稀疏性，却忽略了低秩的性质，比如在毫米波系统中，这也应该在CSI反馈中考虑。
近年来，机器学习方法在不同领域的成功证明了其强大的学习能力。CsiNet的出现说明了深度学习在无线通信的物理层能够得到成功的应用，开创了CSI反馈新方法的先河。
此方法采用encoder-decoder结构进行端到端神经网络参数训练，通过编码器压缩一定大小的码字来进行反馈以达到减少负载开销的目的。在随后的研究中，都是以CsiNet为基础做一个创新。
受模型驱动的启发，我们提出(AttentionModuleFISTA)AMFISTANet网络，通过注意力机制与(
FastIterativeShrinkageThresholdingAlgorithm)FISTANet结合，在网络层设计上可解释性强，嵌入式的注意力模块其复杂性极低，通过加入噪声模块更加贴合实际应用。仿真结果证明AMFISTANet的性能有着进一步的提升，其鲁棒性也更好。
一、系统模型
我们考虑一个单蜂窝FDD大规模MIMO系统模型，其中BS端和UE端分别包含Nt和Nr根发射天线，其中Nr<<Nt。为了简化模型，我们设置Nr=1，整个FDD系统使用Nc个子载波。假设UE端获得的下行信道为:
其中H ℂNxN可以在BS端通过波束成形以提升通信质量。在实际反馈中需要总共反馈2Nc Nt个元素，这包括CSI的实部和虚部，很明显可以看出，天线数量的增加导致反馈数量也随之增加。通过2D离散傅里叶变换(2D-DFT)转换到角延迟域能够得到稀疏结构:
式中Tc和Tt的大小分别为NcxNc和NtxNt。角延迟矩阵H ‘中每个元素对应着一定的路径延迟和到达角，并且前Na行包含了大部分的非零值，取其前Na行的截断矩阵为H。尽管稀疏结构能够减少一大部分元素，但其反馈的负载开销依旧巨大，这就需要通过编译码器进一步的压缩才能反馈。设压缩比n=2NcNt/s，s为压缩后码字的长度:
上式中fe和0e分别代表编码处理和编码器参数。码字s通过上行链路反馈到BS端通过解码器恢复ˆH
同理，式中fd和0d分别代表编码处理和编码器参数。
随后通过补零操作恢复ˆ ‘H，通过逆2D离散傅里叶变换(2D-IDFT)恢复ˆ H。CSI的压缩恢复网络结构为端到端训练，通过均方误差(MSE)作为其优化方式，通过设计和训练0e和0d，最小化H和ˆH之间的距离来达到提高性能的目的：
二、网络设计
2.1注意力模块
整体网络的设计主要由编码器的(
ConvolutionalBlockAttentionModuleCBAM模块和译码器的FISTA网络组成如图1所示。
图 1 AMFISTANet 整体结构
编码器处的CBAM模块包含通道注意力和空间注意力两个子模块，分别进行通道和空间上的attention。轻量化网络在残差结构做到轻松嵌入，节省了大量的参数和算力，神经网络只能实值训练，因此信道复系数需要虚实分开输入到网络中。
编码器实现如图2所示，首先，受CLNet的启发，我们使用了1×1的卷积核进行虚实结合，产生c个通道，c为卷积核的数量，这样便能充分利用到复系数的相位关系。
随后连接通道注意力模块，输入的特征图(HXwxC)通过残差进行分支，分别进行全局平均池化(avg)和全局最大池化(max)大小为1x1xC，然后送入到参数共享的多层感知机(MLP)中，生成的特征进行逐点相加，通过sigmoid激活函数的结果与主干进行一个相乘即可完成通道注意。通道注意力操作可表示为：
其中F为输入特征图，avg和max分别表示全局平均池化和全局最大池化，s为激活函数操作。
图 2 编码器结构
空间注意机制通过最大池化和平均池化分别生成一个HxWx1的特征图，随后进行拼接操作，通过卷积层生成HXWX1的特征图与主干相乘。可表示为:
式中，F为特征图，avg为平均池化，max为最大池化，f为变成1通道的卷积操作，s为激活函数操作。最后CBAM模块经过个3×3的卷积核输出到全连接层进行码字压缩，通过上行链路反馈给BS端的译码器进行重构。
2.2FISTANet
软阈值迭代算法(ISTA)采用Nesterov加速技术得到快速迭代收缩闯值算法(FISTA)，两种方法都是稀疏恢复的经典算法。
FISTA用一种更为聪明的办法选择序列{ xk }，使得其基于梯度下降思想的迭代过程更加快速地趋近问题函数F(x)的最小值。通过深度学习神经网络参数化能够进一步提高计算速度。通过向量化H，得到h=vec(H)，解码器端的CSI重构问题可以表示为：
上式中，第二项为重构问题的约束项，L1范数作为正则化项，可以产生一个稀疏模型用于特征选择。针对上式的凸优化问题，可以选择基于梯度下降的方法来求解，如FISTA算法。FISTA算法通过成值收缩来更新h。FISTA的主要更新步骤如下，首先设y1=h0，在第k次选代中:
上述(8)(10)(11)式中，k为迭代索引，s为码字，ak为重构步长，代表收缩伪系数，其更新方式为：
sofi(g，t)为收缩函数，sign(·)为符号函数：
FISTA算法中超参数需要经验设置。不适当的设置就会带来许多不确定性。本文对FISTA算法在神经网络中展开为FISTANet，将K次迭代到深度神经网络层中，对部分超参数设置为可训练参数来减少这种不确定性。
经过(13)式的操作后，mk重塑成两通道的Mk方便输入到下一个卷积层。同时3×3的卷积层用1×1卷积替代作为头部卷积，并在逆稀疏变换层后也进行添加。最后为了防止过拟合和梯度爆炸，添加了残差结构。(9)式推导出新公式，其中，f为5×5卷积操作:
图3第K 次迭代的 FISTANet
阈值的选择对FISTA的性能也会有很大的影响。ST-Net作为子网络去寻找闽值zST-Net网络也是基于注意力机制，结构如下方所示：
三、实验仿真
为了能够得到统一对比，使用了COST2100信道模型产生的数据进行对比，更进一步讲，采用了CsiNet中的预处理好的数据。
室内和室外范围分别设置为20米和400米的方形区域，UE端在方形区域内随机采样，频段分别在5.3GHZ和300MHZ。使用了ULA天线方案，BS端部署32根天线，Nc=1024，UE端配备单天线，通过2D离散傅里叶变换转换到角延迟域，保留前32行作为最后的H，大小为32×32。
信道模型产生的120000样本，10000作为训练集，20000为测试集。epoch=300，迭代次数K=20，每次训练的批次为64。学习率采用衰减学习率，初始学习率为0.001，每100个epoch，学习率乘0.1。
使用归一化均方误差(NMSE)作为评价CSI反馈性能的标准来测量原始H和重建的ˆH的距离：
我们比较了几个最新的方法包括CLNet、FISTANet以及CsiNet，在不同压缩比下室内室外环境的NMSE(dB)。
表1中性能最好的情况用加粗字体标出，可以看出，AMFISTANet在不同压缩比和不同环境下均表现出了更优异的性能。
AMFISTANet和FISTANet在参数上的差距尤其是编码器部分几乎没有增加，衡量网络标准的复杂度MACC只有在基站的译码器部分有了一小部分的增加。
值得注意的是，尽管复杂度高于目前最新的网络，但在实际部署中，新引入的信道样本训练往往不需要那么多次迭代，往往50个epoch以内的迭代即可达到总迭代性能的97%，而其他方法需要更多的迭代次数，才能达到方法的极限性能，文中提到阈值的选择会对恢复结果有很大影响。
因此，针对ST-Net子网络的全连接层进行了消融研究，对MLP中间的全连接层设置不同的压缩比，实验分别设置通道压缩比为1/8、1/4、1/2。
因为在网络训练期间前50个eopch就能达到很好的性能因此，网络在epoch=50、SNR=20、CR=4时测试不同通道压缩比的性能，如图4所示，比较了室内和室外环境下性能差异。
可以看出，通道压缩比为1/2时室内外环境表现最好，压缩比为1/4情况下表现较差。针对室内环境下不同MLP通道压缩比对闯值的选
择有较大的影响，而室外环境几乎没有太大差异。原因可能在于室内环境相对于室外的CSI更具有一定的规律性，超参数的选择对有规律的CSI影响更大。
图 4 MLP 内不同通道压缩比性能比较
为了能够贴合实际应用，我们添加了加性高斯白噪声进行了比较，如图5所示，我们在CR=4的室内环境下进行了对比。在大信噪比下AMFISTANet依旧能够保持很优异的性能。
在网络训练的过程中，我们在编码器网络还尝试加入不同的注意力机制，包括ECANetl，CANetl，Transformer，图6比较了在CR=4下室内和室外的结果，管CANet、ECANet在室内表现的更佳，但在室外环境下，其性能与FISTANet相比反而有所下降，因此选择了性能折中方法。在高压缩比CR=64的户外情况下，我们发现Transformer嵌入的编码器网络测试性能可以达到-3.0dB，证明了Transformer对更加注重整体特征图而模糊细节部分。
图 5 CR=4 室内环境下的性能比较
受以上注意力机制的启发，在实际环境部署中，可以考虑针对特定环境下设计反馈网络，以此进一步提高性能。
良好的CSI可以对下游工作如功率分配、天线选择、方案切换等带来益处，不仅可以提高通信质量，还可以减少系统整体的复杂度。
图 6 各种注意力嵌入比较
四、结论和观点
我们研究了下一代通信系统下的关键技术之一，即FDD模式下的大规模MIMO的CSI反馈问题，提出了一种基于DL的网络结构AMFISTANet。
在整个网络中，编码器端嵌入注意力机制并串联卷积层进行设计，其轻量化设计在实际部署也更容易实现译码器端的FISTA网络其结构不仅具有可解释性，通过神经网络参数化，学习能力也得到增强。
通过消融实验验证了在大信噪比的情况下，其性能也进一步提升。最后通过多种注意力机制对比，验证了AMFISTANet的优势之处。在实际应用中需要考虑量化等步骤来提高整体性能，在未来工作中考虑从信道本身特性出发去设计更易实现的高效网络
参考文献：
[1]ADHIKARYA，NAMJ，AHNJY，etal.JointSpatialDivisionandMultiplexing-TheLarge-ScaleArrayRegime[J].IEEETransInfTheory，2013，59(10):6441-6463
[2]ADHIKARYA，SAFADIEA，SAMIMIMK，etal.JointSpatialDivisionandMultiplexingformm-WaveChannels[J].IEEEJSelAreasCommun，2014，32(6):1239-1255
[3]METZLERCA，MALEKIA，BARANIUKRGFromDenoisingtoCompressedSensing[J].IEEETransInfTheory，2016，62(9):117-5144
[4]DAUBECHIESI，DEFRISEM，MOLCDJCOP，etal.Aniterativethresholdingalgorithmforlinearinverseproblemswithasparsityconstraint[J].CommunicationsonPure&AppliedMathematics，2010，57(11):1413-1457.
[5]RAOX，LAUVKN.DistributedCompressiveCSITEstimationandFeedbackforFDDMulti-UserMassiveMIMOSystems[J].EEETransSignalProcess，2014，62(12):3261-3271
