绥化市只有一百多年的历史，但是人类在这片土地上的活动却可以溯源至一万年前的旧石器时代。夏商时期古老的肃慎族在此繁衍生息，以后夫余、秽貊、勿吉、靺鞨、女真等族相继在这里生活。满族建立清朝以后，归镇守黑龙江将军管辖。雍正年间精政府设置呼兰守尉，又归呼兰守尉统辖。
清王朝建立之初，视东三省为“龙兴之地”，实行封禁政策，将这里的山林、土地当作皇室围场，严禁开发耕种，使大片的沃土变为草莽荒原。当时绥化被称为“北团林子”，皆因这一带有三个茂密葱郁的原始林子，都是圆形的：泥河南岸一个，称为南团林子：泥河北岸一个，称为腰团林子；腰团林子之北的称为北团林子。三个林子自然排在南北一线上，它们之间的距离约为8里，其中北团林子的面积最大，周围地势平坦。
关于北团林子的来历在当地民间流传一个美丽神奇的传说。相传很久以前，长白山上有一座奇峰。峰顶端云雾缭绕，终年不散，在其险要处有一个大蛇洞，洞上长着一棵100多年生的人参树。参花盛开，红如火焰。奇峰下静卧着一个美丽的彩凤湖，湖的周围翠枝繁盛，绿草丛生。一天一位名叫洪森的采参老人来到了湖边，忽然听到少女委婉清丽的歌声。他循着歌声拨开树枝看到一位如花似玉的姑娘正坐在湖边的翡翠石上边梳洗打扮边唱歌呢。
在惊喜之余，他恍然大悟，这个姑娘一定是参姑娘，于是抬头看一看峰顶，果然参花不见了。他悄悄地向姑娘的身后挪动，可是不小心踩翻了石头。那姑娘听到响声，回头一看，转身就跑。洪森在后面紧追不放。参姑娘跑到哈尔滨附近，看见一群人正围着野戏台子看戏，就一头钻进人堆里。洪森紧紧盯着参姑娘，慢慢地移到她的身边，把带红线的针别在她的衣服上。参姑娘发现后，连忙大声呼救。两个年轻小伙子猛地将洪森拽住。洪森情急之下把参姑娘花衣服撕下了一条，花布条变成了人参叶。
人们惊讶万分。洪森来不及解释，顺着红线追赶参姑娘。参姑娘跑进了树林里，消失得无影无踪。洪森看到林子里遍地是红线头，失去了寻找的方向。他在林子边搭起了草房子住，天天听着参姑娘清脆的歌声，就是再也没有看到参姑娘的芳容。过了些日子，又有人在洪森房子旁边建起了草房，和他做邻居。一来二去，这里建起了一排排的草房，居住的人越来越多，形成了一个小村子。
人们请洪森给村子起个名。洪森看了看这片呈圆形的树林，又想一想它的南面还有两个和它相似的林子，就给村子起名叫北团林子。据说，这个村子起名以后，总能逢凶化吉，遇难呈祥。其实，人参姑娘的传说在东北很多，可是绥化确实出产人参，20世纪80年代其“保鲜人参”曾在布鲁塞尔尤里卡世界发明博览会获奖。
北团林子的传说是虚构的，史料上记载的历史情况却是真实的。清朝嘉庆初年，清廷封禁政策有所松动，允许满族人到东北部分垦荒。清政府在京师旗人中挑选10户28人来北团林子定居。临行前户部给他们发放了充足的盘缠，并且责成沿途的地方官府予以保护和照顾。这些在京城享受荣华富贵的人来到这里，面对荒凉原野落荒而逃，不久全部返回了京师。相反，贫苦的百姓千方百计地冲破封禁边隘的阻挠，纷纷来到北团林子垦荒落户，渐渐荒原上有了人烟。
同治元年（1862年）经黑龙江将军特普钦奏请，清政府正式出放北团林子之荒，设立中兴镇，有协领驻防，负责处理旗民事务，属于呼兰厅管辖。光绪十一年（1885年）清政府鉴于这里荒务大增，决定设立绥化理事通判厅，革北团林子为绥化，这是绥化建制之始。
光绪十三年（1887年）绥化开始筑城，城墙高7尺，宽5尺，泥土结构，总长6公里多。城四面各设城门一座，由砖石砌成，两扇大木门外包铁皮，十分坚固。城门上有门楼，设兵把守。各门都有名称，东门为朝旭门，西门为迎恩门，南门为彰德门，北门为定远门。
光绪十八年（1892年）又修建了绥化厅属衙门光绪三十一年（1905年）绥化由厅升为府，各项事业逐渐发展起来。民国期间，由府改为县，归属绥兰道。1982年绥化改县为市，现今绥化下辖1市辖区，安达、肇东、海伦3市和望奎、兰西，青冈、庆安、明水、绥棱6县。
