בשנות השלושים רכש הפרדסן טוביה מילר אדמות ביצה מתושב דיר אל-בלח, חפר באר ונטע במקום פרדס ומטע תמרים. בתקופת מאורעות 1939-1936 נהרסה החווה וננטשה. בשנת 1944 נמכרו הקרקעות לקק"ל. במוצאי יום הכיפורים תש"ז (1946), במסגרת התיישבות 11 הנקודות בנגב, יצא גרעין של תנועת 'הפועל המזרחי' מבארות יצחק, עלה על הקרקע והקים את קיבוץ כפר דרום. המתיישבים היו חסרי הכשרה חקלאית מספקת, השטח היה מצומצם והקיבוץ היה ישוב יהודי בודד המוקף ביישובים ערביים. בתנועת 'הקיבוץ הדתי', שאליה השתייך הקיבוץ היו ספקות בנוגע לעתידה של הנקודה.
מתחילתה של מלחמת העצמאות היה כפר דרום נתון להתקפות מצד האוכלוסייה הערבית המקומית. ב-13 במאי, יום לפני הכרזת המדינה, ניסו כוחות רגלים של הצבא המצרי בליווי שני טנקים לכבוש את הקיבוץ בסיוע ירי ארטילרי וטנקים. חברי הקיבוץ עם תגבורת של מחלקת פלמ"ח הצליחו להדוף את התוקפים. לאחר הכרזת המדינה ב-14 במאי 1948, פלש הצבא המצרי לנגב. כפר דרום, שנמצא על נתיב הפלישה, היה נתון מאז במצור. המצרים הפגיזו והפציצו את היישוב וניסו לכבוש אותו מספר פעמים. המגינים ספגו אבדות כבדות וסבלו ממחסור במזון ובתחמושת, אך החזיקו מעמד עד תחילתה של ההפוגה הראשונה ב-11 ביוני 1948. לאחר שנודע כי המצרים מתכוונים לכבוש את כפר דרום ולאור מצבם הקשה של המגינים הוחלט לפנות את הישוב. בליל ה-8 ביולי, היום האחרון של ההפוגה, הסתננו המגינים דרך קווי הצבא המצרי ופונו לתחומי ישראל. בבוקר ה-8 ביולי החל הצבא המצרי בהתקפה על היישוב הריק וכבש אותו. בעקבות הסכמי שביתת הנשק שנחתמו עם מצרים לאחר המלחמה נכלל כפר דרום בתחום מצרים.
חלק מתושבי הכפר הקימו אחרי המלחמה ליד אשדוד את קיבוץ בני דרום, שהפך בשנת 1961 למושב שיתופי.
במלחמת ששת הימים נכבש האזור מידי המצרים. לאחר המלחמה הוחלט לחדש את ההתיישבות היהודית באזור. בשנת 1970 הקים גרעין מתנועת 'בני עקיבא' את היאחזות הנח"ל כפר דרום בסמוך למיקומו המקורי של הישוב. בשל מחלוקת בין תנועת 'הקיבוץ הדתי' לבין איגוד המושבים של 'הפועל מזרחי' לא נשלחו למקום גרעיני נח"ל נוספים. בשנת 1973 הוסב כפר דרום לישוב קהילתי שתיפקד בעיקר כחוות הכשרה לגרעינים שהקימו את ישובי גוש קטיף. בראשית שנות ה-80, במקביל לפינוי סיני, נפסקה פעילות זאת ונותר שם מאחז צבאי.
בשנת 1988 אישר שר הביטחון יצחק רבין את ישובו מחדש של כפר דרום. בשנת 1989 התיישב במקום גרעין של משפחות דתיות והקים יישוב קבע אזרחי. בעקבות הסכמי אוסלו נותר כפר דרום כמובלעת ישראלית בתוך שטח שבשליטת הרשות הפלסטינית. בתקופת אינתיפאדת אל אקצה התרחשו ביישוב מספר פיגועי טרור קשים. ב-18 באוגוסט 2005, במסגרת 'תוכנית ההתנתקות', פונה היישוב ובתיו נהרסו.
