Как избавиться от повторений? - C#
Формулировка задачи:
Здравствуйте.
Предположим у меня есть файл типа
И длина этого файла может достигать сотен миллионов строк. Как можно, не добавляя все эти строки в массив, сравнить их, и в новом файле вставить их, только без повторений. Т.е. в итоге в номом файле будет
Мне интересен сам принцип и идея этой "обработки" данных. Буду благодарен за вашу помощь и наработки, если они у вас есть.
======================================
В голову пришло брать по очередности строки, и по очереди сравнивать с каждой строкой (Кроме той строки, из которой была взята исходная строка). Как это можно осуществить?
192 185 123 432 195 123
192 185 123 432
Решение задачи: «Как избавиться от повторений?»
textual
Листинг программы
// массив с повторами
string[] array1 = {"cat", "dog", "cat", "leopard", "tiger", "cat"};
// убираем повторы
var hash = new HashSet<string>(array1);
// переносим уникальные значения в массив
string[] array2 = hash.ToArray();
// показываем результат - повторов нет
foreach (var item in array2)
{
MessageBox.Show(item);
}