IPSecProtocol

IPSec با استفاده از یکی از پروتکل‌های AH ، EPS و یا ترکیبی از این دو پروتکل، بسته دریافتی را رمز نگاری می‌نماید.

• AH یا Autehntication Header: این پروتکل دیتا را به هیچ عنوان رمزنگاری نمی‌نماید در واقع رمزنگاری را بدون دستکاری در Payload، در Header انجام می‌دهد. نام دیگر این پروتکل Transport است. این پروتکل در زمینه احراز هویت (Autehtication) و یکپارچگی (Integrity) سرویس ارائه می‌نماید. AH برای حفظ جامعیت بسته ارسال شده از یک HashProtocol یعنی MD5 یا SHA، هم در Payload و هم در Header بهره می‌برد که این امر موجب می‌شود در هنگام NAT کردن، زمانی که در هدر تغییراتی ایجاد می‌شود، مقدار Hash ثابت بماند و در واقع مقصد هنگام مقایسه بسته دریافتی با مقدار Hash تولید شده بسته را مرجوع می‌کند. عملا AH از NAT پشتیبانی نمی‌کند. مزیت AH نسبت به ESP سرعت بالاتر آن در رمزنگاری است.
• ESP یا Encapsulation Security Protocol: این پروتکل بسته را هم در Payload و هم در Header رمزنگاری می‌نماید. نام دیگر این پروتکل Tunnle است. این پروتکل سرویس‌های Confidentiality ،Autehtication و Integrity را فراهم می‌نماید. در ESP برای حفظ جامعیت بسته‌ها از HashProtocol یعنی MD5 یا SHA استفاده می‌شود. در این پروتکل تنها Payload هش می‌شود و این امر موجب می‌شود که ESP از NAT پشتیبانی نماید. ESP در مقایسه با AH امنیت بالاتری را فراهم می‌نماید.

Confidentiality 

همان طور که در بحث IPSecProtocol بیان شد، محرمانگی در AH تامین نمی‌شود ولی در ESP با استفاده از الگوریتم رمز نگاری DES ،  3DES و AES این سرویس ارائه می‌گردد. پروتکل 3DES و AES طول رشته بیشتری نسبت به DES دارند لذا از نظر امنیت الگوریتم بهتری هستند. الگوریتم SEAL هم مخصوص Device‌های سیسکو است. در جدول زیر طول رشته الگوریتم‌های مختلف رمزنگاری مشاهده می‌گردد.

Integrity

حفظ جامعیت دیتاهای ارسالی در IPSec با استفاده از هش MD5 و یا انواع SHA تامین می‌گردد. الگوریتم MD5 نسبت به انواع SHA  امنیت بسیار کمتری دارد. الگوریتم MD5 رشته دریافتی را به قطعات 512  بایتی تقسیم می‌کند (به جز قطعه آخر که 448 بایت است که با اضافه شدن 64 بایت به آخر آن تمام قطعات 512 بایتی می‌شود.) هر قطعه در یک آرایه ذخیره شده و درهم سازی می‌شوند و پس از جمع شدن شیفت داده می‌شوند و در نهایت طول چکیده رشته 16 بایت می‌گردد. این الگوریتم به راحتی توسط دیتابیس‌های بزرگی که از Hash در اینترنت وجود دارد کارآمدی خود را از دست داده است. با به وجود آمدن انواع SHA که از از الگوریتم‌های پیچیده‌تری نسب به MD5 برای درهم سازی استفاده می‌نمایند و همچنین تعداد دفعات شیفت در آن‌ها بیشتر است، غالب کاربران به استفاده از انواع SHA روی آورده‌اند. طول رشته چکیده در انواع مختلف SHA در جدول زیر مشاهده می‌شود.

Autehtication

برای احراز هویت فرستنده Packet از دو روش PSK(Pre-shared key) و RSA Digital Signature استفاده می‌گردد. در روش PSK یک رشته متنی محرمانه در دو طرف ارتباط موجود است که این رشته کاملا یکسان است و جهت احراز هویت طرف مقابل مورد استفاده قرار می‌گیرد. این رشته پس از هش شدن به عنوان یک Digital Sigature در نظر گرفته می‌شود. اما در روش RSA Digital Signature از یک CA جهت تولید Digital Signature استفاده می‌شود.

الگوریتم تبادل کلید (Diffi Hellman) دیفی هلمن الگوریتمی است که با انجام یکسری محاسبات ریاضی فرآیند تولید و تبادل کلید را بین فرستنده و گیرنده انجام می‌دهد. دیفی هلمن از نوع الگوریتم‌های Aymmetric است. رمزنگاری در دیفی هلمن با استفاده از یک کلید مشترک بین فرستنده انجام می‌شود. نحوه تولید این کلید با یک مثال توضیح داده می‌شود:

1. a و b بر روی 2 عدد اول g و p توافق می‌کنند.
2. کاربرهای a و b دو عدد اول Xa و Xb را که از حتما از p کوچکتر هستند را بطور تصادفی انتخاب می‌کنند و به عنوان کلید خصوصی برای خود محفوظ نگه می‌دارند.
3. کاربر a کلیدی با استفاده از فرمول Ya=(g^Xa) mod p تولید و به کاربر b ارسال می‌نماید.
4. کاربر b کلیدی با استفاده از فرمول Yb=(g^Xb) mod p تولید و به کاربر a ارسال می‌نماید.
5. کاربر a پس از دریافت Yb با استفاده از فرمول Za=(Yb^Xa) mod p و کاربر b پس از دریافت Ya با استفاده از فرمول Zb=(Ya^Xb) mod p کلید اصلی که جهت رمز نگاری متقارن استفاده می‌شود را تولید می‌کنند. (Za=Zb)
   کلیدهای تولید شده در IPsec توسط Diffi Hellman در یکی از گروه‌های DH1 ،DH2 و DH5 قرار می‌گیرد. طول کلید در گروه‌های مختلف Diffi Hellman در جدول زیر مشاهده می‌شود.