1908年的某一天，行色匆匆的卢芹斋被帽子店慵懒而美艳的老板娘倾倒，这位美丽风骚的异国女人也爱上了英俊多情的东方男子张静江。28岁的卢芹斋与32岁的奥尔佳坠入爱河。奥尔佳既爱卢芹斋，又舍不得旧情人，帽子店就是旧情人送给她赖以生存的礼物。怎么办？
奥尔佳想了一个两全其美的办法，她决定将自己年仅15岁的女儿玛丽.罗斯嫁给新情人卢芹斋，卢芹斋见过活泼美丽的罗斯，马上同意了。1910年12月29日，30岁的卢芹斋与15岁罗斯举办了婚礼。婚后，罗斯给卢芹斋生了四个女儿。但她后来才知道自己和卢芹斋的婚姻里，还夹杂着母亲这个第三者，她很愤怒。卢芹斋虽然与妻子玛丽·罗斯一同生活了几十年，且生有四个女儿，但他和岳母兼情人奥尔佳的情感一直维持到老年，这真是一段令人诧异的扭曲情感。
卢芹斋是一个十分复杂的人，他对自己的过往一直耿耿于怀，他倒卖文物，获暴利。但他一直为自己辩解。
著名的昭陵六骏中的“飒露紫”和“拳毛騧”两石，被卢芹斋于1914年以12.5万美元盗卖到国外。当时，卢芹斋已将昭陵六骏石刻全部打碎准备偷运出国，幸而其中四骏被北洋政府查获，但’飒露紫’与’拳毛騧’则被其偷运出国。（现二石藏于美国费城宾夕法尼亚大学博物馆，其余四石现藏于陕西西安碑林博物馆。）
他只有四个女儿，一直感叹没儿子。他从不教女儿说中国话，也从不讲湖州往事，在他心里，繁华的巴黎香舍丽榭大街远比故乡湖州的月亮更有吸引力。
卢芹斋，1880年出生于浙江湖州卢家渡，原名卢焕文，家境贫寒，他十分厌恶自己的过去，他对自己的身世一直讳莫如深。十岁那年，卢母因无力支撑丈夫的烟瘾和赌债，被生活重担压垮自杀身亡，没人照顾的父亲也一命呜呼。骤然失去双亲让他变得木讷呆板，冷漠无情，行事拒人于千里之外。他对自己忧伤的童年没有丝毫的留恋，因为童年带给他的只有无尽的伤痛。
他在去世前拼命给自己脸上贴金：
作为士绅阶层的一部分，我的祖先曾在朝廷里做官……
幼年失怙，后近入南浔张家做工。
在距离卢家兜三十公里处一河之隔的的张家，是南浔四象之一，家资巨万，坐拥大量土地，除了良田千顷之外，张家还在江苏和上海拥有多处房产豪宅。二三十年代，上海很多著名的建筑都是张氏家族名下产业，如杏花楼、大上海电影院、大上海歌舞厅和大世界游乐中心等等。卢芹斋是二少爷张静江的贴身仆人，张静江出生时患肌肉萎缩，从小就坡脚，8岁时，右眼也失明了。21岁时，张静江的父亲张宝善以白银10万两给他捐了个二品候补道。1902年，张静江以随员身份，跟随清朝驻法公使去了法国。靠着砸钱，张静江轻松获得中国驻法国公使商务参赞的职务，卢焕文幸运的被选中，作为随侍陪伴张静江赴法。
张静江在巴黎开设“运通”公司，主要售卖中国的瓷器、字画古董等，将收入悉数捐给了孙中山，以支援辛亥革命，辛亥革命后张静江回国协助孙中山建党，通远公司关闭。纯革命党人张静江成为国民党四大元老之一。卢芹斋靠着主子关系一步登天，他学会了一口流利的法语。28岁那年，他的铺子在巴黎开张了，店名“来远”，取货自远方来之意。他改名卢芹斋。与此同时，清政府垮台，北洋政府执政，人心不稳定，故宫的无数珍宝纷纷流失海外。
1912年1月1日，中华民国成立，此时天下大乱，军阀混战。
他借助在国民党中的人际关系，花重金打通关节、浑水摸鱼，寺院、陵墓更是他经常光顾的地方。前主子张静江辅佐革命居功至伟，成了孙中山最器重的人。他也跟着水涨船高。1913年、1914年，北洋政府接连出台古物保存法、禁止古物出口等法规对他形同虚设。1915年12月17日，卢芹斋以1600美金的价格向弗利尔出售了一幅康熙年间的丝绸壁毯，在交易单据上他有着详细介绍：“朝廷御用，1913年盗于热河（承德）避暑山庄。”1915年3月，卢芹斋来远公司在纽约开分店。1928年，卢芹斋的人生达到了顶点，他获得了法国荣誉军团勋章，又在巴黎一开了一家新的画廊“彤阁”（巴黎红楼），富丽堂皇堪比宫殿。
单看卢芹斋外表，他风度翩翩，冷峻不苟言笑，外貌比张静江更胜一筹。
他的传奇直到新中国的成立而停止，50年代初全部清货，结束生意。
1950年3月，卢芹斋在纽约发布声明：我已年过七十，经营中国古董达半个世纪……中国新政权在上海查封了我收购的大批文物，其中包括我至关重要的藏品，这令我意识到，我的古董生意已经山穷水尽，无以为继……因此，我不无遗憾地决定，从此退出古董交易这个行业。
从某种意义上来讲，卢芹斋是让西方认识中国古董的启蒙者。卢芹斋在1950年试图为自己辩护。他说 : 我出口的文物都是从市场上通过与别人竞标买来的;我卖到国外的文物如今都得到了妥善的保护。如果当时把它们留在了中国，恐怕只会让不了解它们价值的人给毁掉。
1957年，卢芹斋死于瑞士，终年78岁，葬在妻子的家族墓地古何贝瓦。
