连云港市档案馆前身为新海连市档案资料馆，建于1959年6月30日，系根据中共中央1959年1月7日“关于统一管理党政档案工作的通知”精神，在市委、市人委两档案室的基础上建立的，隶属市委办公室领导。1965年12月2日更名为连云港市档案馆。1966年“文革”开始后，市档案馆留守2人看库房，馆内工作基本中断。党的十一届三中全会后，在“恢复、整顿、总结、提高”方针的指导下，连云港市档案工作得到加强。1980年12月23日成立连云港市档案局，与连云港市档案馆合署办公，两块牌子，一套班子，为市委、市政府直属事业单位，归口市委办公室、市政府办公室领导。1986年5月，中共连云港市委、市政府遵照中发〔1985〕29号文件精神，重申市档案馆为其直属文化事业单位，市档案局为市政府编制序列，档案馆业务工作受市档案局指导。局馆仍为一套班子，两块牌子，合署办公。1996年7月4日连发〔1996〕21号文关于印发《连云港市市级党政机构改革实施意见》的规定，市档案局与市档案馆合并，保留市档案局的牌子，为市委、市政府直属正处级事业单位，由市委办公室管理。2001年10月市级党政机构改革，市委办公室、市政府办公室关于印发《连云港市档案局、连云港市档案馆职能配置、内设机构和人员编制规定》（连委办发〔2001〕55号文）的通知规定，市档案局、市档案馆为市委、市政府直属事业机构，履行全市档案行政管理和档案保管利用职能。此次“三定”方案将市档案局与市档案馆并列，较好地突出了市档案局的行政主体地位，理顺了市档案局、市档案馆的关系。2018年底在新一轮机构改革中，市档案局、档案馆合一的体制变成局、馆分设，在市委办公室挂市档案局牌子，市档案馆作为市委直属事业单位独立存在，正处级的级别和参照公务员管理人员身份维持不变。现有编制27名（其中工勤人员编制2名），在编人员25名，其中馆长1名、副馆长2名。下设六个处室：办公室、业务指导处、保管利用处、信息技术处、资源开发处和安全保护处。