Удалить дубликаты в List - C#/.NET 4.x

Формулировка задачи:

Всех приветствую, Софт открывает текстовый файл и заносит его содержимое в List Текстовый файл содержит строки с разными именами Строк очень много, около 2кк. Как удалить все дубликаты, которые там есть? Метод Distinct просто перегружает программу и она виснет.

Решение задачи: «Удалить дубликаты в List»

textual
                            Листинг программы 
                        
                            var data = new HashSet<string>(File.ReadLines("file.txt"));
 
// можно указать компаратор, например чтобы строки сравнивались без учета регистра...
//var data = new HashSet<string>(File.ReadLines("file.txt"), StringComparer.OrdinalIgnoreCase);
 
// потом можно в List запихнуть если есть необходимость
var dataList = new List<string>(data);