Dim xlApp As Object 定义Excel应用程序对象 Dim wb As Object 定义工作簿对象 Dim ws As Object 定义工作表对象 Dim xlBook As New Excel.Workbook 创建工作簿 Dim I, HH, ii, ZUIHYIH, DD As Long Dim gzbmc As String Dim huwei As String 创建Excel应用程序对象 Set xlApp…
前言
本文回顾一下MHA、GQA、MQA,详细解读下MHA、GQA、MQA这三种常见注意力机制的原理。 self-attention A t t e n t i o n ( Q , K , V ) s o f t m a x ( Q K T d k ) V Attention(Q,K,V)softmax(\frac{QK^T}{\sqrt{d_k}})V Attention(Q,K,V)softmax(dk QK…