Der langsame Abschied von Altenwerder begann eigentlich schon 1961 mit dem damaligen Beschluss des Hafenerweiterungsgesetzes durch die Bürgerschaft.
Altenwerder erhielt zu diesem Zeitpunkt die Stufe I für vorgesehene Erweiterungen. Zwölf Jahre später fiel die Entscheidung die gesamte Bevölkerung Altenwerders umzusiedeln. Diesen Tag haben viele, denen der Abschied damals unendlich schwer fiel, niemals vergessen. Der idyllische Hafen mit seinen bunten Festen, die Märkte zu denen immer viele Besucher kamen und die weiten landwirtschaftlichen Flächen machten Altenwerder zu einem ganz besonderen Ort mitten im Hafen. Auch das Angebot auf andere Grundstücke in Finkenwerder und Neugraben oder Hausbruch umzuziehen, war da kein wahrer Trost.
Häuser wurden fast immer sofort nach dem Auszug der Menschen abgerissen. Bis zum Jahre 1978 war so ein großer Teil des Dorfes Altenwerder einfach nicht mehr aufzufinden. Teile von landwirtschaftlich genutzten Flächen lagen brach und das ursprüngliche Dorf Altenwerder war irgendwann wortlos verschwunden. Stattdessen besiedelten Tiere und Pflanzen den verschwundenen Ort. Die Kirche St. Gertrud ist heute das einzige Gebäude, das vom Ort noch übriggeblieben ist. Wer jetzt nach Altenwerder kommt, der kann nur noch ahnen, welches Leben dort einmal stattgefunden hat oder sich die Geschichten von damals erzählen lassen. Alle, die sich an Altenwerder zurückerinnern, sprechen von den Elbfischern, den lustigen Hafenfesten und der einzigartigen Idylle, die Altenwerder zu einer Insel direkt an der Elbe machten. Ab 2002 wurde der Containerhafen in Betrieb genommen.