W XIX w. oraz w dwudziestoleciu międzywojennym  Rytwianach skupiał się przemysł, który zatrudniał wielu robotników i urzędników, co rzutowało na poziom kultury tej wsi.  Nieistniejąca już cukrownia w Rytwianach była największym zakładem produkcyjnym .
Budowa cukrowni rozpoczęła się w 1853r. Z inicjatywy Adama hr. Potockiego, który stanął na  czele towarzystwa akcyjnego. Budową kierował A. Psarski. Było to przedsięwzięcie w stylu rodzącej się w tym czasie epoki kapitalistycznej. Ostatecznie ukończono ją i puszczono w ruch w 1855r. Cukrownia stanęła na terenie dzisiejszego parku okalającego Pałac Radziwiłłów – Hotelu ***Rytwiany. W cukrowni zainstalowano 8 pras hydraulicznych, aparat Michalisa. Wszystkie urządzenia poruszane były maszyną parową. W 1886r. Przekopano kanał do cukrowni do rzeki Czarnej długości ok. 1 km, aby pokryć duże zapotrzebowanie na wodę. Była to początkowo największa i najnowocześniejsza cukrownia w guberni radomskiej, w której stosowano tzw. system dyfuzyjny. W szczytowym okresie  podczas sezonu produkcyjnego  pracowało tu około 600 osób.
Buraki dostarczane były na podstawie wcześniejszych umów przez folwarki należące do dóbr, przez włościan, jak również przez właścicieli folwarków sąsiadujących z dobrami.
W 1861r. pożar zniszczył fabrykę. Odbudował ją w 1863r. Fryderyk Hajneman  i Józef Aders, Niemcy z Wirtembergii. W 1898r. Ks. Róża i Maciej Radziwiłłowie spłacili Niemców  i prowadzili cukrownię samodzielnie.
Dyrektorem technicznym, a następnie naczelnym, był przez wiele lat Władysław Psarski, wicedyrektorem Adolf Rzepecki. Kierownikami działów byli Stefan Gockowski, Bolesław Przeździcki, Kazimierz Zagrzejewski, Aleksander Mincer, Adam Tyszkowski, Bolesław Grentza, a potem Stefan Świderski, Wilchelm Liebich, Mieczysław Odrobiński.
W 1899r., zaraz po objęciu dóbr przez ks. Macieja Radziwiłła, na wystawie radomskiej przyznano Złoty Wielki Medal Rytwianom – cukrowni ks. Macieja Radziwiłła „ za grubą krystaliczną rafinadę i ogół produkcji cukru”. Cukrownia produkowała piękny cukier w sześciennych kostkach i głowach ( stożkach), które wtedy były modne w Rosji.
W zaborze rosyjskim również z uwagi na oszczędniejsze zużycie cukru pito herbatę z kawałkiem cukru w ustach ( na prikusku). Żartownisie mówili, że jeszcze tańszy sposób był  „ na prilizku”, gdy głowa cukru wisiała nad stołem i każdy mógł ją polizać, a później popić gorącą herbatą, a najtańszym sposobem było picie herbaty „ na pridumku i prigladku”, tzn. wieszano opakowanie z głowy cukru, a pijący miał sobie  „wydumać” (wyobrazić), że to cukier.
Jednak mimo sukcesów w produkcji, modernizacji, zwiększania produkcji, cukrownia systematycznie traciła na znaczeniu na tle innych tego typu zakładów. Dochodziły do tego problemy natury energetycznej i zaopatrzenia w surowiec do produkcji.
Argumentem budowli cukrowni właśnie w Rytwianach dla Adama Potockiego było drewno – jego niewyczerpane zasoby w okolicznych lasach. Gdy nastała na dobre era węgla ten argument energetyczny odpadł.
Chcąc złagodzić ten problem ks. Maciej Radziwiłł rozpoczął w Lasach Golejowskich wydobywanie torfu. Pozostały po tym do dziś głębokie  doły. Z torfu wytwarzano brykiety, które jednak wartością opałową w dalszym ciągu ustępowały węglowi.
Również zaopatrzenie w buraki cukrowe było uciążliwe, ponieważ w okolicy nie było dużych obszarów ziemi nadających się pod uprawę tej rośliny. Uprawiano je i transportowano z odległego majątku Szwagrów, gdzie były bardziej urodzajne, nadwiślańskie ziemie.
Aby złagodzić trudności transportowe poprawiono drogi oraz zbudowano w Rytwianach stację kolejki wąskotorowej. Najbliższą drogę bitą na początku XX wieku zbudował ks. Radziwiłł na trasie ( ok. 10 km) od wsi Szczeka przez ogromny las „klasztorny” do Rytwian. Służyła ona do przewozu buraków cukrowych z książęcego folwarku w Szwagrowie do cukrowni w Rytwianach przez fornali. Natomiast kolejka wąskotorowa służyła nie tylko do dowozu buraków cukrowych, ale również do wywozu cukru, głównie do Warszawy, gdyż rynek lokalny nie był zbyt chłonny. Oprócz tego towaru również wiele innych eksportowano poza granice dóbr za pośrednictwem kolejki wąskotorowej np. drewno, ryby, wyroby ceglarsko – kaflarskie (dlatego tak ważne znaczenie miało otwarcie stacji w Rytwianach.)
Mimo czynionych starań cukrownia stawała się coraz to mniej konkurencyjna. Produkcja innych cukrowni była bardziej opłacalna, dlatego też „Rytwiany” zaczęły przynosić coroczny deficyt. Krzysztof Radziwiłł nie chciał cukrowni zamknąć, by nie powiększyła bezrobocia. W 1924r. próbowano oddać ją za darmo innej, większej i dobrze prosperującej cukrowni. Wkrótce potem cukrownia spłonęła, a pozostałości rozebrano do fundamentów. Na tzw. Piaskach Rytwiańskich pozostało dużo biednych rodzin robotniczych oczekujących lepszej doli.
Cukrownia w Rytwianach wpłynęła pozytywnie nie tylko na  podniesienie kultury rolnej, ale i na pewne ożywienie gospodarki folwarcznej i w dużym stopniu na  - wzmożenie działalności rzemiosła i handlu w okolicy, stanowiąc przy tym w miarę rozwoju chłonny  rynek  pracy dla wykwalifikowanych i niewykwalifikowanych  pracowników.