会谈伊始，各方代表都赞同黄河问题要以合作的方式解决。周恩来直指此次黄河谈判问题的核心：解放区认真履行《南京协议》，全力以赴地完成了第一期复堤工程，而國民党政府至今尚未拨足协议所规定的工粮、器材和工款。周恩来强调，“在工作第一阶段需面粉9000吨，而开封转来者，仅及二、三十吨。第一期工资应为法币45亿元，物资需要值245亿元，即使如此紧急，而无一照付”。当前，“黄河下游复堤工作仍在进行(民工237000人)。日需面粉300吨及法币一亿五千万元，而时至今日，只收到面粉500吨，倘供应不能运到，此项工作势将停止”。“解放区现得联总救济物资占0.5%，而其配额亦不超过0.9%，就受灾难者而言，此诚属不公”。
面对周恩来以事实为依据、以数据为支撑的发言，蒋廷黻略显底气不足。随即他向周恩来表示“同意用其最大努力即速自国库支款付还”，强调“取得该款必须经过合法手续，并可能遭到某种羁延，其数目亦可能被行政院核减”，他和薛(笃弼)委员长“均以最大之努力诚意许取得该款之全部，惟指出称以确定之数目约束中央政府，非彼等力所能及之事”。
周恩来对拨款羁延之事表示理解，对于蒋廷黻所提出的工款“可能遭受缩减一节”，则拒绝接受。同时，周恩来明确表示：“中共当局将认为，此种款数之核减，以为政府及其代表破坏协议条文与精神，并破坏黄河自现道转归故道之共同事业”。
谈判桌前，气氛略显紧张。此时，有国民党政府黄河堵复局的工程师从工程技术观点出发，认为如果堵口完成后，流向下游水量对故道两岸造成的损失并不大，无须救济。
周恩来强烈驳斥了这一说法，并将故道下游堤岸的情况作了现场陈述，再次提出了下游复堤工作的困难。“大堤在8年抗战中，由于战争及自然的损害，损坏达30%以上，坝埽破坏亦极严重。其整修工作为沿岸1400村庄将近50万民工所负担。黄河恢复，不仅放水就可了事”。
经过多次交锋，7月18日上午的会谈以“用以偿付工料款项，已有40亿元汇至开封转至中共地方当局，另20亿元应存入上海银行中单一户头，需要有薛、蒋及周恩来指定之代表联合签字始能提取”结束。
18日下午，三方代表会同协商了关于黄河下游故道居民迁移救济的问题。周恩来向与会代表展示解放区调查数据并表示，“复堤第一期工程已完成，政府应立即履行协议。河床居民迁徙费不能少于304亿”。蒋廷黻则以抗战刚结束，国民政府财政颇为拮据加以拒绝，只同意拨付80亿元。
然而，迁移救济问题事关解放区人民的核心利益，若不能保证充分救济，中国共产党不会同意黄河回归故道。因此，周恩来再次强调了304亿元是经过解放区反复调查研究核算得出的结果。
周恩来的强硬态度，使蒋廷黻坐立不安。经过反复讨论，蒋廷黻提出：“8、9、10月，每月40亿元，11月30亿，总计在11月底以前应拨款150亿元”。
周恩来也作出让步。周恩来坚持304亿元的数目不能减少，但是“其中解放区政府担负1/4，由国民政府供给228亿”。经过行总与联总双方代表的反复商讨，蒋廷黻最终同意。
为了在谈判中掌握主动，周恩来提出亲自前往花园口视察堵口情况。7月19日，周恩来飞抵开封，不顾酷暑马不停蹄赶往花园口。当天夜里，周恩来认真听取了张玺(冀鲁豫区委书记)、段君毅(冀鲁豫行署主任)、王化云(冀鲁豫区黄委会主任)等有关解放区当前复堤进度、应得工款、工粮以及运输情况的汇报，记下了经过和具体数字。同时，周恩来向他们分析了当前形势，嘱咐他们一定要揭露国民党政府“以水代兵”的阴谋，进行斗争，“要他们在谈判中研究斗争策略，揭露对方的阴谋，争取主动权”，“告诫他们不要把希望寄托在一纸协议上，要抓紧时间赶修堤防工程，争取时间，避免被动”。此外，周恩来“要求他们转告刘伯承、邓小平，从整个形势上看，靠谈判不能解决问题，现在要靠自卫战争，迎击进攻”。
7月20日，周恩来在会议上重申了中国共产党支持黄河归故计划，希望继续与国民党政府保持合作，提出了解放区第二阶段的迁移救济与物资供应等事宜。同时，周恩来向与会人员展示了解放区军民认真执行复堤、整理险工和迁移等工程的资料，赢得了与会代表的一致赞赏。此外，周恩来补充了当前解放区复堤、迁移、救济工作的困难，列举了大量事实，控诉国民党军事当局破坏复堤工程，杀害解放区修堤人员的暴行。周恩来凭借其有理有据的发言，为解放区人民谋求更多利益。
经过实地视察和多次谈判，周恩来、蒋廷黻、福兰克芮共同签署了《上海协议》。《上海协议》的签订，不仅使解放区人民的正义要求得到伸张，而且为解放区下游故道复堤、整理险工争得了时间，在客观上推迟了国民党政府提前堵口的计划。
国民党“以水代兵”阴谋破产
上海谈判结束后，周恩来一方面为秋汛时期沿河人民的生命安全忧心;另一方面则继续为协议所商定的工款、工粮、救济款、器材等多方斡旋。
1946年8月31日，鉴于黄河、淮河、沂河、沭河等河水大涨，冲破堤岸多处，周恩来致函宋子文要求“江北运河工程局立即开放沿江各坝，以免苏北人民遭受水灾浩劫”。9月2日，周恩来再次致函宋子文，谴责“政府不但不放开江坝，近且不断以重轰炸机以重磅炸弹轰炸高邮附近堤身，并扫射修堤人民，阻挠修堤工程，致使沂、沭漏水，今堤岸又告溃决，竟演成宿、沭、灌各縣空前水灾”，要求开放沿江各坝。
9月4日，周恩来在致蒋廷黻、薛笃弼的函中质问道：“关于黄河旧道居民救济费150亿元问题，蒋署长确曾声明，彼与先生会前已商好，将共同负责，向行政院提请拨款150亿，会后蒋署长必以向先生道及，何能诿为不知?须速催行政院决定，否则堵口不能实行”。
在周恩来严词催促下，1946年10月，行总交付解放区复堤工款、工人工资、公务费等60亿元，面粉5000吨，但此前协议中商定的150亿元的河床居民救济费却拒不兑现。因此，11月2日，周恩来致函联总中国分署署长艾格顿及行总新任署长霍宝树，措辞严厉：“国方迄未遵守上海协议，致使我方整理险工等工程无法进行，在下游工程未复、救济河床居民款项毫未拨给之际，而花园口堵口工程则在积极进行，且闻国方又有限期五十日完成堵口之命令，是直欲使下游千百万及河床数十万居民为之危险莫大于此!”
然而，蒋介石此时决心将内战进行到底，其水淹解放区的阴谋，已不加掩饰。在11月29日“国大”进行期间，蒋介石致电水利委员会：“希督饬所属昼夜赶工，并将实际情况具报”。1947年1月2日，蒋介石第三次致电水利委员会：“堵口工程务须按照原拟进度表1月5日完工，不可拖延”。
1947年1月8日，周恩来在延安发表关于黄河堵口问题的严重声明，“蒋介石政府突于上月底严令郑州军事当局及开封黄河堵复局，立即在花园口堵口合龙，以放水东淹黄河故道居民及两岸群众与解放区自卫队……这将更为滥豫、鲁两省若干万平方公里的土地，损失数百万人民的生命、房屋、财产。蒋介石之所以如此狠毒，其用心就在想利用黄河水淹死豫、鲁解放区的人民和部队，隔断解放区的自卫动员，破坏解放区的物资供给，好便于他的进攻和侵占。我们请求全国同胞、国际正义人士，站在人道主义立场上，一致起来反对，紧急制止蒋介石政府这一狠毒的堵口放水行动”。
迫于国际和国内舆论的压力，国民党政府不得不暂时放弃堵口计划，故伎重施，继续以谈判来骗取社会舆论。
然而，军事上的失利，迫使蒋介石改变了军事策略。1947年3月，蒋介石集中兵力对中共陕北和山东两个解放区实行“重点进攻”军事方略，即所谓的“双矛攻势”。作为“重点进攻”战略的重要组成部分，花园口堵口计划是与“双矛攻势”相互配合和补充的。
为了实现花园口堵口合龙，蒋介石再次强调，“宁停军运，不得妨碍堵口运石”，“并在军运繁忙之际，特拨火车七列，运输堵口石料”。国民党陆军总司令官顾祝同等高级将领，多次到花园口工地督导，传达蒋介石3月中旬“限期完成，不成则杀”的严令。
1947年3月15日黎明，泛滥九年之久的花园口终于合龙了，突然回归故道的黄水全部流量突然流入解放区旧河道，河床居民躲避不急，损失惨重。据不完全统计，河床内淹没村庄达360个，因而死亡人口3788人，受伤274人，淹没土地4872990亩，居民损失财物合法币1258768600元。
1947年3月21日，《人民日报》社论指出：“旧灾区、新灾区、全国人民的灾难都是蒋介石造成的，他是灾难的总根源”。
在周恩来、董必武等中国共产党人的努力下，冀鲁豫解放区提前进行了防止国民党政府堵口合龙的工作，为减少伤亡作出了巨大贡献。同时，在中国共产党的带领下，沿河人民及解放区人民一方面奋力抢救黄灾，另一方面更加奋勇进行自卫战争，使蒋介石的“以水代兵”的黄河战略彻底破产。