בשנת 1911 רכשה אגודת 'שארית ישראל' מרוסיה אדמות באזור הכפר ג'ממה במטרה להקים במקום אחוזת מטעים. בתחילה הוקמה חווה חקלאית שנקראה רוחמה. במקום נחפרה באר, הוקמו מספר צריפים וקבוצת פועלים החלה לעבד את האדמות ולנטוע מטעים. לחווה הצטרפו חלוצים חברי 'הפועל הצעיר' שביקשו להתיישב בנגב. התנאים במקום היו קשים, החווה היתה מבודדת ומרוחקת מכל יישוב יהודי, השכנים הערבים היו עוינים ובשנת 1913 התקיפו את פועלי החווה. אחרי שפרצה מלחמת העולם הראשונה הפסיקו בעלי החווה ברוסיה להעביר כספים. קו החזית עבר בסמוך ובאזור התנהלו קרבות בין הצבא העות'מאני לצבא הבריטי. הפועלים נאלצו לעזוב את המקום והחווה נהרסה.

אחרי המלחמה, בשנת 1920, התיישבה במקום קבוצת פועלים חדשה ושיקמה את החווה. במאורעות 1929 הותקפה החווה על ידי ערבים. הפועלים נאלצו לעזוב את המקום והחווה נהרסה.

בשנת 1932 רכשה חברת 'גן שלמה' חלק מאדמות רוחמה. קבוצת פועלים התיישבה במקום וחזרה לעבד את אדמות החווה. במאורעות 1936 הותקפה החווה שוב, נעזבה ונהרסה.

אחרי כן הועברו האדמות לידי קק"ל. בשנת 1943 במסגרת המאמצים ליישוב הנגב נשלח לרוחמה גרעין 'עמל' של 'השומר הצעיר'. חברי הגרעין עלו ארצה בשנת 1934 מפולין ומרומניה והתארגנו בחדרה במאי 1935. בוגרים של התנועה מבולגריה הצטרפו אליהם. חברי הגרעין קיבלו הכשרה בקיבוצים שונים ובשנת 1937 התיישבו בקריית חיים. החברים עבדו בנמל חיפה, בסלילת כבישים, בייבוש ביצות נעמן ופוערה ובעבודות נוספות. ב-2 בדצמבר 1943 הגיעה קבוצת חלוץ לרוחמה, חידשה את הבאר והקימה גדר וצריפים ראשונים. ב-19 במרץ 1944 עלו חברי הקיבוץ האחרים על הקרקע. בהמשך הצטרפו אליהם גרעינים של ניצולי שואה: 'הסדן' ו'המעפיל' מפולין, 'למרחב' ו'למפעל' מרומניה.

במקום היה בסיס אימונים ליחידות פו"ש ופלמ"ח ולקורסים של ה'הגנה'. באוגוסט 1946 הטיל הצבא הבריטי מצור על הקיבוץ בחיפושיו אחר נשק. המשק לא נמצא אך לקיבוץ נגרם הרס רב. במלחמת העצמאות, בתקופת הפלישה המצרית וניתוק הנגב מצפון הארץ, היתה רוחמה בסיס מרכזי של 'חטיבת הנגב', וממנה התנהלה ההגנה על הנגב הנצור. במקום הוקמו בית חולים שדה, שדה תעופה וסדנה. ברוחמה רוכזו אספקה ונשק, שהגיעו בדרך האוויר, ואשר סייעו בפריצת המצור ובהדיפת הפולש המצרי מהנגב. במהלך המלחמה הופצץ הקיבוץ על ידי חיל האוויר המצרי.

אחרי שהסתיימה המלחמה, שוקם הקיבוץ והחל פיתוח מזורז. לקיבוץ הצטרפו גרעינים נוספים מפולין, מאיטליה, ממרוקו ומארצות נוספות וכן גם חברות נוער.

שם הקיבוץ לקוח מהתנ"ך: 'וזרעתיה לי בארץ ורחמתי את לא רוחמה' (הושע, ב', כ"ה).

במקום 'אתר הראשונים', שבו הבאר שנחפרה בשנת 1913 על ידי המתיישבים הראשונים ובית הביטחון שנבנה לפני מלחמת העצמאות. בבית הביטחון מוזיאון המציג את ראשית ההתיישבות המחודשת בנגב הצפוני (הקיבוצים דורות, ניר עם ורוחמה) ואת תולדות האזור מאז ועד תום מלחמת העצמאות.