根據不同種類密鑰所起作用的不同,以及重要性的區別,現有密鑰管理系統的設計大多採用的是層次化的結構,這種結構與對系統的密鑰控制關係是對應的。

系統用主密鑰顺利获得某種算法保護密鑰加密密鑰,再用密鑰加密密鑰藉助算法保護會話密鑰,而且密鑰加密密鑰可能不止一個層次,最後會話密鑰顺利获得某加、解密算法保護明文數據。在密鑰層次體系中,各層密鑰的使用由對應層次的密鑰協議控制。

一般來說 ,為了保證安全性，會話密鑰只在會話存續期間有效,本次數據加、解密操作完成後,會話密鑰就被立即清除。攻擊者所能獲知的信息越少，即會話密鑰變動越頻,通信就越安全;另一方面,不斷改變的會話密鑰將會給分配帶來更多負擔。因此,需折中考慮會話密鑰生命期的確定。

層次化的密鑰結構也就是用少量上層密鑰保護大量下層密鑰或明文數據,這樣,可確保除主密鑰可以明文的形式顺利获得嚴苛的管理受到嚴密保護外,其他密鑰則以密文的形式存儲,改善了密鑰的安全性。