在日本横滨大同学校读书时，苏曼殊开始喜欢亲近女性，但一接触就羞怯脸红，同学们戏称为“樱花开”。
苏曼殊爱读《红楼梦》，对书中女子遭遇无限同情。冯自由在东京时，曾见曼殊向友人借阅《红楼梦》，手不释卷。日后曼殊还以摆脱尘缘之宝玉自命。冯认为，曼殊于披剃后自号“元瑛”是取义于《红楼梦》之神瑛侍者的说法，也许可信。
苏曼殊的案头常置《茶花女》，对玛格丽特怜爱有加，曾感慨林纾译本《茶花女》瑕疵脱漏较多，后偶然购得法文原著，准备重译，以至于被戏称为“天生情种诠注薄命女郎”，但最终未译成。
绘画时，苏曼殊曾让一个娇艳女郎立侍在旁，兴致来了，就沾取女郎唇上的朱红作为颜料。
苏曼殊性好着西服，并甚讲究。曾在天蟾舞台看戏，隔座为前清财阀某眷属，艳装盛服，备极豪奢，其吸水烟的灰屑吹落于曼殊外衣之上，曼殊不以为意，任其延烧，以为不宜拂美人之意。
苏曼殊最爱吟诗句：“福王少小风流惯，不爱江山爱美人。”无论是课外还是在课堂上，都常把这两句挂在口边。他也喜欢将这两句诗题到书本上，有人曾见他题在原版《潮单》第六页的裸体石像下面。
马仲殊记载：“曼殊得钱，必邀人作青楼之游，为琼花之宴。至则对其所召之妓，瞪目凝视，曾无一言。食时，则又合十顶礼，毫不顾其座后尚有十七八妙龄女，人多为其不欢而散。越数日，复得钱，又问人以前之雏妓之名，意盖有恋恋者。人为引之其处，而曼殊仍如前此之态，终于不言而回。”
于右任回忆道：“曼殊于歌台曲院，无所不至。视群妓之尤，如桐花馆、好好、张娟娟等，每呼之侑酒。高士之于名花小鸟，心赏目娱，皆成悟悦。与言政事，则辄曰：‘不成问题。’继是即作风花语矣。”
1905年秋，苏曼殊到南京陆军小学任教，与秦淮河校书金凤交往甚密，情深意笃。然而，曼殊只愿意有精神上的情爱，金凤却不知，想与他结为连理，被拒后很是绝望。金凤曾出素绢，向曼殊索画，画尚未成，金凤却被人赎身，嫁于他人。为此，曼殊常觉对不起金凤，多次赋诗抒写伤怀之情，其中一首云：“收将凤纸写相思，莫道人间总不知。尽日伤心人不见，莫愁还自有愁时。”次年，曼殊到长沙明德学堂任教，作《寄怀金凤图》，蔡哲夫为他题跋，云：“及至湘水，作此寄之，宁使殷洪乔投向石头城下（殷洪乔任豫章太守，赴任前不少人托他捎书函上百封。行至石头渚，殷将书信悉掷水中，曰：‘沉者自沉，浮者自浮，殷洪乔不能作致书邮。’后人将托人捎信捎不到称为‘付诸洪乔’）耳。”
叶楚伧以美食向苏曼殊求画，陈去病则以奇遇向曼殊求画。陈曾游南京玄武湖，在樱洲（抗战前，玄武湖樱洲以产樱桃而得名。康熙年间，江南织造曹寅曾将玄武湖樱桃进贡给康熙。玄武湖樱桃树抗战前遭到砍伐，上世纪60年代再遭砍伐，几乎殆尽）遇到两位卖樱桃的孪生姐妹，布裙荆钗，但风韵天成。陈对曼殊语及此次丽遇，曼殊遂绘《湖上双鬟图》相赠。
菊屏记载：“某年，曼殊有事于沪，暱一妓，深爱之。事有暇，辄顾其家。既且寝于斯，食于斯，衣服杂用之物，咸置其处，几乎视妓家如己家，与妓同衾共枕，更不待言，而终不动性欲。妓以为异，问其故，则正容而语之曰：‘爱情者，灵魂之空气也。灵魂得爱情而永在，无异躯体恃空气而生存。吾人竟日纭纭，实皆游泳于情海之中。或谓情海即祸水，稍涉即溺，是误认孽海为情海之言耳。惟物极则反，世态皆然。譬之登山，及峰为极，越峰则降矣。性欲，爱情之极也。吾等互爱而不及乱，庶能永守此情，虽远隔关山，其情不渝。乱则热情锐减，即使晤对一室，亦难保无终凶也。我不欲图肉体之快乐，而伤精神之爱也。故如是，愿卿与我共守之。’”
包天笑亦说，曼殊“出入青楼无忌，群呼之‘苏和尚’。一日（毕）倚虹觥之于惜春家，座有楚怆、鹓雏等所召之妓，悉令围座君侧，而君能周旋自如。席散萧然踏月色归。或亦如孤桐诗中所云‘万缘先了色成空’欤？”面对曼殊被众妓围坐之景，包曾有句云：“万花环绕一诗僧。”
1913年春节前，苏曼殊至上海，住第一行台（注：旅馆名）。他应酬酒局甚多，每晚至少五六处，常常几处奔波，坐定写过局票，仅十数分钟，不待所召之妓前来，便赶赴下一处。所召之妓前来，不见曼殊，于是追往下一处，依然不遇，又追往下一处。校书应曼殊的堂差，有如走马灯，有时追去六七处，终不一遇。延至夜半，曼殊回到第一行台住所，校书们陆续追逐而来，争相叙述不遇之怨，第一行台熙熙攘攘，门庭若市，灯火通明。如若某日众妓未曾前来，曼殊便茫然无措，于是又以电话一一召至。校书们来后，往往围聚推牌，或迷藏游戏，欢声盈室，通宵达旦。
第一行台西边紧邻红庙，妓家岁首烧香祈福为头等大事，除夕夜半，红庙门口已是车马盈门，水泄不通。进香之余，校书们拥至第一行台会曼殊，一时座无虚席，于是有人作联戏谑道：“红庙道士生意好，旅馆和尚招待忙。”
邵元冲回忆：“癸丑（1913）之役，义师既散，海上朋俦，渐形寥落，曼殊亦郁郁寡欢，乃于冬间东渡江户。箧中所贮，除书物外，有海上名校书素珍摄影多幅，大者达三尺许。曼殊焚香默坐，四壁倩影，亭亭欲出，仿佛置身众香国中也。”
邵元冲在日本东京小石川所住旅店旁，多丛塚，其中有一石碑，上题“妙香大姊”数字，四周有冬青数株荫护。曼殊不识妙香其人，却与邵在其墓侧徘徊凭吊。
苏曼殊鲜少主动向男性友人赠画，即使是至交好友，也是一画难求。但若是女子求画，几乎有求必应。有一时期求画女子骤增，曼殊难以应付，只好定下新规矩：每画一幅，女子须以自己的照片作为酬劳，男子则一概谢绝。
一次，苏曼殊看见一个重约四百斤的美国女人，小腿粗得如同瓮一般，便问该女道：“你找配偶要找和你一样肥重的吗？”女子回答：“我想找个瘦的。”曼殊说：“我瘦，当你丈夫如何？”
1909年春，苏曼殊在日本遇见号称“江户名花第一枝”的演艺明星春本万龙，与春本有过交往。春本曾赠其照片，曼殊极为珍爱，并将照片转赠给邓秋枚、蔡哲夫，在信中夸赞春本“肌肤鲜润”。
离开上海赴安庆任教后，苏曼殊还惦记着上海的莺莺燕燕们，嘱咐柳亚子道：“兄如先在沪渎，乞为我善护群花，诚惶诚恐。”
1913年12月中旬，在东京的苏曼殊因暴食致疾，缠绵病榻，百无聊赖，于是致信给在国内的至交刘季平道：“芳草天涯，行人似梦，寒梅花下，新月如烟。未识海上刘三，肯为我善护群花否耶？”
苏曼殊临终前，已病入膏肓，犹殷殷询问上海校书们的消息，并让周南陔到风月场宴客。周谓：“你病如此，不能赴宴，最好不闻不见，以得早日康复。”曼殊答：“不然，我在枕席呻吟中，推忆诸友之豪情，亦一乐也。”