ディレクトリ構造
図のように、index.html以外の HTML ファイルがあったり、sampleディレクトリの中にsub2.htmlが存在したりするなど、複雑な構造になった場合はどうしたらよいのでしょうか。

そこまで難しくはありません。最初のファイルがhttp://127.0.0.1:5500/index.htmlでアクセスできる場合、
http://127.0.0.1:5500/sub.htmlhttp://127.0.0.1:5500/sample/sub2.html
のような感じです。ディレクトリ構造がスラッシュを区切り文字として表現されているというイメージですね。
なお、index.htmlは少し特別な意味を持ち、実は URL 上では省略可能な場合が多いです。例えば、http://127.0.0.1:5500/index.htmlは、http://127.0.0.1:5500/のように書き換え可能だったりします。便利ですね。
aタグを利用すると、あるページから別のページへのハイパーリンクを作成することができます。
index.html
<a href="sub.html">リンク</a>
としてみて、どのように表示されるか確認してみてください。