Как избавиться от повторений? - C#
Формулировка задачи:
Здравствуйте.
Предположим у меня есть файл типа
И длина этого файла может достигать сотен миллионов строк. Как можно, не добавляя все эти строки в массив, сравнить их, и в новом файле вставить их, только без повторений. Т.е. в итоге в номом файле будет
Мне интересен сам принцип и идея этой "обработки" данных. Буду благодарен за вашу помощь и наработки, если они у вас есть.
======================================
В голову пришло брать по очередности строки, и по очереди сравнивать с каждой строкой (Кроме той строки, из которой была взята исходная строка). Как это можно осуществить?
192 185 123 432 195 123
192 185 123 432
Решение задачи: «Как избавиться от повторений?»
textual
Листинг программы
// массив с повторами string[] array1 = {"cat", "dog", "cat", "leopard", "tiger", "cat"}; // убираем повторы var hash = new HashSet<string>(array1); // переносим уникальные значения в массив string[] array2 = hash.ToArray(); // показываем результат - повторов нет foreach (var item in array2) { MessageBox.Show(item); }
ИИ поможет Вам:
- решить любую задачу по программированию
- объяснить код
- расставить комментарии в коде
- и т.д