元朝末年，各种社会矛盾已激化到了极点，起义军揭竿而起。湖北沔阳玉沙县有个叫陈友谅的人，出生于渔民家庭，年轻时当过县衙小吏，平时喜欢舞枪弄棒，后来投奔红巾军首领徐寿辉，在与元军作战中，屡立战功，升为元帅。至正二十年（1360），陈友谅杀了徐寿辉，即皇帝位于采石矶（今安徽马鞍山市），建国号为汉。

当时除了陈友谅外，还有张士诚和朱元璋。这三支起义军为了扩展自己的势力范围，在与元军作战的同时，互相争夺地盘。至正二十三年（1363）八月，陈友谅与朱元璋决战于江西鄱阳湖，结果中流矢而死，其残部经江西上绕入浙江衢州江山县地界。由于这些残兵败将大多是渔民出身，为躲避朱元璋追杀，他们重操旧业，采购木材，建造渔船（起名“江山船”），以船为家，逐水而居。这些渔民中有九种姓氏，即陈、钱、林、袁、孙、叶、许、李、何等，称为“九姓渔民”。

江山船分为“头亭”和“茭白”两种。茭白船长约15米，船尾特高，船内陈设华丽，能办丰盛酒席，又称画舫。从衢州、龙游、兰溪，直至梅城严东关、桐庐、富阳、杭州都有茭白船。茭白船上有年轻漂亮的女子，她们都是渔民们花钱从外地买来的，而且会吹拉弹唱，名为船户的眷属，实为妓女，称为船娘，她们的名字用金漆写在木牌上，悬挂在船头，供客人挑选。

严东关位于新安江、兰江下游，富春江的上游，是浙西商埠重镇，商贾云集。码头上画舫丽妓，丝竹渔火，彻夜不息。上画舫寻欢作乐的，大多是些常年在外经商的老板。茭白船也是客商品茗喝酒洽谈生意的场所。有位诗人叫黄遵宪曾写过一首《九姓渔船曲》：“西施一舸轻波软，原是官船当娃馆。玉女青矑隔牖窥，径就郎怀歌婉转。”

此事传到明太祖朱元璋的耳朵里，朱元璋想把他们杀绝。军师刘伯温劝朱元璋免除他们的死罪，将他们贬为贱民即可。朱元璋同意了，规定他们不准在岸上居住，不准读书应试，上岸不准穿鞋，不准与岸上人通婚。从此，九姓渔民成了下等人，受尽欺凌，加上一些地痞恶霸欺压讹诈，生活十分悲惨。

清朝同治四年（1865），有位叫戴槃的官员到严州任知府，他非常同情九姓渔民，向督抚诸宪提出建议，要求免除严郡的渔课（政府向渔民征收的赋税），得到督抚的批准。

虽然九姓渔民的渔课被免除了，但茭白船还屡禁不止。民国时，严东关、兰溪、衢州还有茭白船，以兰溪最多，最盛时，茭白船沿江停泊达60余艘。到解放后，茭白船才被彻底清除，九姓渔民陆续上岸居住。深受世人歧视的九姓渔民彻底翻了身。