Как избавиться от повторений? - C#

Формулировка задачи:

Здравствуйте. Предположим у меня есть файл типа

                    Листинг программы

И длина этого файла может достигать сотен миллионов строк. Как можно, не добавляя все эти строки в массив, сравнить их, и в новом файле вставить их, только без повторений. Т.е. в итоге в номом файле будет

                    Листинг программы

Мне интересен сам принцип и идея этой "обработки" данных. Буду благодарен за вашу помощь и наработки, если они у вас есть. ====================================== В голову пришло брать по очередности строки, и по очереди сравнивать с каждой строкой (Кроме той строки, из которой была взята исходная строка). Как это можно осуществить?

Решение задачи: «Как избавиться от повторений?»

textual
                            Листинг программы 
                        
 
                        
                          
                    
            // массив с повторами
            string[] array1 = {"cat", "dog", "cat", "leopard", "tiger", "cat"};
            // убираем повторы
            var hash = new HashSet<string>(array1);
            // переносим уникальные значения в массив
            string[] array2 = hash.ToArray();
            // показываем результат - повторов нет
            foreach (var item in array2)
            {
                MessageBox.Show(item);
            }