そう、プラグインほど簡単にいかないのですよね。
順番に答えます。

1. データが格納されている場所

WordPress に投稿した記事は、シンプルに、

「画像は uploads フォルダの中」
「投稿、コメントその他、全部 MySQL データベースの中」

と考えると良いかと思います。

2. リストアしなくていいのか

「WordPress のデータベースのアップグレードを完了しました!」
と最後に表示されていれば、する必要はありません。

phpMyAdmin でバックアップしたものは、アップグレード前の保険です。

たとえばアップグレード中に MySQL サーバにトラブルがあったときなど、今まで投稿した内容が失われる可能性があります。

その場合は、WordPress のアップグレード前のバージョンを正しくセットアップして、リストア、再度アップグレードに挑戦、という流れになると思います。

3. リストアすればすべて元に戻せるか

phpMyAdmin でバックアップしたデータだけでは無理です。

画像データは MySQL データベースの中には格納していないので、
別途 FTP などでバックアップを取る必要があります。

なお、サーバの引越しなどのため、行き先でドメインや階層が変わるような場合は、上記だけではだめで、データベース内に埋め込まれた古い URL を書き換える必要が出てきます。

参考になりましたでしょうか。

2.5でWordpressをインストールして使い始めました。
すぐに2.5.1がでたので早速バージョンアップを試みようと考えています。
手順を見させていただきました。

プラグインのバージョンアップのようにクリック一発でシステムファイルを入れ替えてくれるのかと思っていましたが、違いますね（笑）。

phpMyAdmin はインストールされているレンタルサーバーなので
このとおりやってみようかと思います。

ひとつ、質問なのですが・・
phpMyAdmin でバックアップをとるのは、今まで投稿した記事の
バックアップを取るという認識でいます。

2.5.1を上書きしたあと、phpMyAdmin でバックアップしているデータはリストア（復元）しなくていいのでしょうか？

自分が書いた記事がどこにあるのか、実はわからないんです（笑）。

phpMyAdmin でバックアップ→リストアすれば投稿記事からコメント
すべて元に戻せると考えていいのでしょうか。

書き込み記事（コメントも含む）情報はphpMyAdmin の操作だけで
すべて対応できると考えていいのでしょうか？

ご教示いただくと助かります。

よろしくお願いします。