Получение всех JS файлов с сайта - C#

Формулировка задачи:

Доброе время суток. Есть необходимость проверить все javaScript файлы, имеющиеся на сайте. Т.е вводится ссылка на сайт, на выходе список url с js файлами. Дальше работа с ними Никак не могу придумать способ получения js файлов. Можете помочь и идей ?

Решение задачи: «Получение всех JS файлов с сайта»

textual
                            Листинг программы 
                        

                            using System;
using System.IO;
using System.Net;
using System.Text;
using HAP = HtmlAgilityPack;
 
namespace Ghost
{
    class Program
    {
        static void Main(string[] args)
        {
            HttpWebRequest request = HttpWebRequest.CreateHttp("http://someurl/");
            request.Headers[HttpRequestHeader.AcceptCharset] = Encoding.UTF8.WebName;
            request.Headers[HttpRequestHeader.AcceptEncoding] = "gzip";
            request.AutomaticDecompression = DecompressionMethods.GZip;
            using (HttpWebResponse response = (HttpWebResponse)request.GetResponse())
            using (StreamReader reader = new StreamReader(response.GetResponseStream(), 
                Encoding.GetEncoding(response.CharacterSet)))
            {
                HAP.HtmlDocument document = new HAP.HtmlDocument();
                document.LoadHtml(reader.ReadToEnd());
                HAP.HtmlNodeCollection scripts = document.DocumentNode.SelectNodes("//script[@src]");
                foreach (HAP.HtmlNode script in scripts)
                {
                    Console.WriteLine(script.Attributes["src"].Value);
                }
            }
        }
    }
}
                        