diff --git a/%D0%9F%D0%BE%D0%BF%D1%83%D0%BB%D1%8F%D1%80%D0%BD%D1%8B%D0%B5-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B-%D0%B4%D0%BB%D1%8F-%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%8B-%D1%81-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%BC%D0%B8-%D0%B2-%D0%BA%D0%BE%D0%BB%D0%BE%D0%BD%D0%BA%D0%B0%D0%BC%D0%B8.md b/%D0%9F%D0%BE%D0%BF%D1%83%D0%BB%D1%8F%D1%80%D0%BD%D1%8B%D0%B5-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B-%D0%B4%D0%BB%D1%8F-%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%8B-%D1%81-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%BC%D0%B8-%D0%B2-%D0%BA%D0%BE%D0%BB%D0%BE%D0%BD%D0%BA%D0%B0%D0%BC%D0%B8.md new file mode 100644 index 0000000..0dc7b5a --- /dev/null +++ b/%D0%9F%D0%BE%D0%BF%D1%83%D0%BB%D1%8F%D1%80%D0%BD%D1%8B%D0%B5-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B-%D0%B4%D0%BB%D1%8F-%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%8B-%D1%81-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%BC%D0%B8-%D0%B2-%D0%BA%D0%BE%D0%BB%D0%BE%D0%BD%D0%BA%D0%B0%D0%BC%D0%B8.md @@ -0,0 +1,31 @@ +▶ Как обрабатывать CSV-файлами с запятыми, внутри ячеек? +Базовые утилиты такие как cut в подобных ситуациях могут не справиться. Воспользуйтесь **awk** с более сложными разделителями (FPAT в GNU Awk) либо профильные утилиты, вроде **mlr** (Miller) или **csvkit**, которые разработаны именно для структурированных данных. + + +csvkit представляет собой комплект утилит специально для обработки CSV-файлами. Он включает csvcut для селекции и изменения порядка колонок, csvgrep для фильтрации и csvlook для наглядного вывода таблиц прямо в терминал. Незаменимый инструмент для работы с структурированными данными. +xsv — молниеносный процессор CSV, разработанный на Rust. Имея дело с массивными файлами, где скорость чрезвычайно важна, xsv не знает равных. Он выполняет индексацию, что делает операции отбора, фильтрации и статистики поразительно быстрыми. +datamash это своего рода калькулятор для терминала для данных. Эта программа позволяет объединять в группы, сортировать и осуществлять операции статистики (среднее, сумма, минимум, максимальное значение) с колонками непосредственно в терминале, заменяя собой простые скрип + + +В сегодняшнем цифровом мире данные выступает главной ценностью. Тем не менее огромная ее часть находится вне структурированных массивов и таблиц, а в виде неструктурированных текстов: в статьях, отчетах, письмах, сообщениях в соцсетях и новостных лентах. Вот тут-то вступает в игру инструмент извлечение данных из текста. Этот процесс, известный также под названием Text Data Mining, позволяет превращать хаотичные текстовые данные в упорядоченную и четкую информацию, пригодные для анали + +▷ Возможно ли изменять положение колонки местами? +Конечно! В awk это делается просто: awk 'print $3, $1, $2' file.txt. Вы можете выводить колонки в любом порядке и даже дублировать их. + +Есть ли ограничения на размер перечня? +Лимиты определяются определённого сайта. Часть из них справляются с большими объёмами без проблем, другие могут иметь ограничение чтобы обеспечить быстродействия. Для крупных объёмов информации предпочтительнее применять профильное программное обеспечение. + +► Каким образом просуммировать данные в колонке? +Это одна из сильных сторон awk. Используйте паттерн END: awk 'sum += $2 END print "Итого: " sum' data.txt. Для более сложных агрегаций (среднее, мин/макс) логику можно расширить. + + +Научные изыскания и здравоохранение +В научном мире технологии способствуют ускорению систематический анализ литературы. Ученый может быстро найти все упоминания определенного соединения, гена или метода лечения в огромном массиве академических статей. В медицине это способствует систематизировать медицинские истории, извлекая данные о поставленных диагнозах, прописанных лекарствах и итогах обследован + +AWK: мощный программируемый инструмент для обработки текста +Возможно наиболее мощная из всех программ для обработки колонок. AWK — это целый язык программирования, заточенный под обработку текста, созданный вокруг концепции колонок. Его идея несложна: автоматическое разбиение каждой строки на поля (колонки) и возможность выполнять с ними действия. + +Базовый синтаксис: awk 'print $1, $3' file.txt — выведет первую и третью колонку. +Использование разделителя: awk -F: 'print $1' /etc/passwd — выведет список пользователей (разделитель — двоеточие). +Арифметические операции: awk 'sum += $2 END print sum' data.csv — просуммирует значения во второй колонке. +Условные действия: awk '$3 >100 print $1, $2' report.txt — выведет первые две колонки, [сервисы для работы со списками](https://www.prophecyhousing.com/author/elsaulm8657049/) где значение в третьей больше 100. \ No newline at end of file