فصل ۲۰: پردازش متن
تمامی سیستمعاملهای شبهیونیکس (Unix-like) برای ذخیرهسازی پیکربندیها و دادهها، وابستگی شدیدی به فایلهای متنی ساده (Plain Text) دارند. از این رو، وجود مجموعهی گستردهای از ابزارها برای مدیریت و پردازش متن در لینوکس کاملاً منطقی است. در این فصل، بر برنامههایی تمرکز میکنیم که جهت «قطعهبندی و بازآرایی» (Slicing and Dicing) محتوای متنی به کار میروند. در فصل آینده، جنبههای پیشرفتهتری از پردازش متن را بررسی خواهیم کرد که عمدتاً بر قالببندی (Formatting) متون جهت چاپ یا ارائه در فرمتهای خوانا برای انسان متمرکز هستند.
در این فصل، با ترکیبی از ابزارهای کلاسیک و مدرن آشنا خواهیم شد:
cat: الحاق فایلها و نمایش محتوای آنها در خروجی استاندارد (Standard Output).sort: مرتبسازی خطوط فایلهای متنی.uniq: گزارش یا حذف خطوط تکراریِ مجاور در یک فایل.cut: استخراج بخشهای مشخصی از هر خط یک فایل.paste: ادغام خطوط چندین فایل بهصورت افقی.join: پیوند دادن خطوط دو فایل بر اساس یک فیلد (زمینه) مشترک.tac: الحاق و نمایش فایلها از انتها به ابتدا (معکوسِ cat).rev: معکوس کردن ترتیب کاراکترهای هر خط.comm: مقایسهی خطبهخط دو فایل مرتبشده.diff: مقایسهی خطبهخط دو فایل و گزارش تفاوتهای آنها.patch: اعمال تغییرات تولیدشده توسط diff بر روی فایل اصلی.tr: جایگزینی (ترجمه) یا حذف کاراکترها.sed: ویرایشگر جریانی (Stream Editor) برای پالایش و تغییر متون.aspell: بررسیکنندهی تعاملی غلطهای املایی.
کاربردهای متن در لینوکس #
تا به این مرحله، با ویرایشگرهای متنی نظیر nano و vim آشنا شدهایم، فایلهای پیکربندی متعددی را بررسی کرده و خروجی دستورات فراوانی را مشاهده کردهایم که همگی در قالب متن ارائه شدهاند. اما قلمرو کاربرد متن فراتر از این موارد است. در واقع، متن ساده ستون فقراتِ دنیای رایانش محسوب میشود.
مستندات #
بسیاری از متخصصان، اسناد خود را با بهرهگیری از قالبهای متنی ساده (Plain Text) تدوین میکنند. اگرچه کاربرد یک فایل متنی کوچک برای یادداشتهای روزمره بدیهی است، اما نگارش اسناد حجیم و پیچیده نیز در این قالب کاملاً رایج است. یکی از راهبردهای استاندارد، نگارش محتوا در قالب متن ساده و سپس استفاده از زبانهای نشانهگذاری (Markup Languages) برای تعیین ساختار و قالببندی نهایی است.
بسیاری از مقالات علمی و متون فنی با این روش به رشتهی تحریر درمیآیند؛ چراکه سیستمهای پردازش متن در یونیکس جزو نخستین بسترهایی بودند که امکانات پیشرفتهی تایپوگرافی را در اختیار نویسندگان قرار دادند. در سالهای اخیر، زبان نشانهگذاری Markdown به دلیل سادگی و کارایی بالا در تبدیل متن به اسناد خوشساخت، محبوبیت چشمگیری یافته است.
صفحات وب #
شاید بتوان گفت صفحات وب، پرکاربردترین نوع اسناد الکترونیکی در جهان امروز هستند. این صفحات در واقع اسنادی متنی هستند که با استفاده از زبانهای نشانهگذاری همچون HTML (Hypertext Markup Language) یا XML (Extensible Markup Language)، ساختار بصری و چیدمان محتوا را برای مرورگرها توصیف میکنند.
پست الکترونیک #
پست الکترونیک در ذات خود یک رسانهی مبتنی بر متن است. حتی پیوستهای غیرمتنی نیز جهت انتقال در
شبکه، به کدهای متنی تبدیل میشوند. با دانلود یک پیام ایمیل و باز کردن آن در ابزاری نظیر
less بهوضوح میتوان این ساختار را مشاهده کرد. هر پیام با یک «سرآیند» (Header)
آغاز میشود که مشخصات فرستنده و مسیرهای پیمودهشده توسط پیام را توصیف میکند و در ادامه،
«بدنهی پیام» (Body) حاوی محتوای اصلی قرار میگیرد.
خروجی چاپ #
در سیستمهای شبهیونیکس، دادههای ارسالی به چاپگر معمولاً بهصورت متن ساده (Plain Text) یا با استفاده از یک زبان توصیف صفحه (Page Description Language) با ساختار متنی منتقل میشوند. در گذشته، PostScript زبان استاندارد و محوری این فرایند بود؛ اما امروزه PDF بهعنوان قالب اصلی و ترجیحی برای ارسال دادههای چاپی جایگزین آن شده است. در نهایت، این کدهای متنی (چه PostScript و چه PDF) به مفسری مانند Ghostscript فرستاده میشوند تا دادههای گرافیکی (Raster) موردنیاز برای چاپ نهایی را تولید کنند.
کد منبع نرمافزار #
بسیاری از ابزارهای خط فرمان در محیطهای شبهیونیکس با هدف تسهیل مدیریت سیستم و توسعهی نرمافزار طراحی شدهاند؛ ابزارهای پردازش متن نیز از این قاعده مستثنی نیستند. علت کلیدی اهمیت پردازش متن برای توسعهدهندگان این است که هر نرمافزاری در نخستین گامِ حیات خود، یک متن ساده است. کد منبع (Source Code) که مستقیماً توسط برنامهنویس نگاشته میشود، همواره در قالب متن ذخیره و مدیریت میگردد.
بازبینی ابزارهای پایه #
در فصل ششم، با برخی دستوراتی آشنا شدیم که علاوه بر آرگومانهای خط فرمان، توانایی دریافت داده از «ورودی استاندارد» (stdin) را نیز دارند. در آن بخش صرفاً به معرفی اجمالی آنها بسنده کردیم، اما اکنون به بررسی دقیقتر نحوهی بهکارگیری این ابزارها در فرآیندهای پردازش متن خواهیم پرداخت.
دستور cat: مدیریت نویسههای کنترلی #
برنامه cat دارای گزینههای کاربردی متعددی است که فراتر از نمایش سادهی متن، به
بازبینی دقیق محتوا کمک میکنند. یکی از مهمترین این گزینهها، گزینه -A است که
برای آشکارسازی نویسههای غیرقابلچاپ (Non-printing characters) بهکار میرود. در بسیاری از
موارد، شناسایی نویسههای کنترلی پنهان، مانند نویسهی Tab (که با فاصله متفاوت است) یا نویسهی
بازگشت به ابتدای سطر (Carriage Return که در فایلهای متنی سیستمعامل MS-DOS رایج است)، اهمیت
حیاتی دارد. همچنین این ابزار برای تشخیص فاصلههای ناخواستهی انتهای خط (Trailing Spaces)
بسیار مفید است.
برای درک بهتر، بیایید از cat بهعنوان یک واژهپرداز ابتدایی استفاده کنیم. با
هدایت خروجی cat به یک فایل، متن دلخواه را تایپ کرده، در ابتدای سطر یک کلید Tab
فشار میدهیم، در انتها چند فاصلهی اضافی وارد کرده و در نهایت با فشردن
Ctrl+d (نشاندهندهی پایان فایل یا EOF)، عملیات را خاتمه میدهیم:
[me@linuxbox ~]$ cat > foo.txt
The quick brown fox jumps over the lazy dog.
[me@linuxbox ~]$
حال با استفاده از گزینهی -A محتوای فایل را بازبینی میکنیم:
[me@linuxbox ~]$ cat -A foo.txt
^IThe quick brown fox jumps over the lazy dog. $
[me@linuxbox ~]$
نتایج فوق نشاندهندهی دو نکتهی فنی مهم است: نخست، نویسهی Tab با نماد ^I
نمایش داده شده است (این یک قرارداد متداول در یونیکس برای نمایش Ctrl+i یا همان
نویسهی تب است). دوم، نماد $ در انتهای سطر ظاهر شده که دقیقاً مرز پایانی خط را
نشان میدهد؛ وجود فاصله میان نقطهی انتهایی جمله و نماد $ مؤید وجود فاصلههای
اضافی در انتهای خط است.
تمایز متون MS-DOS و Unix #
یکی از دلایل کلیدی استفاده از ابزار cat برای پایش نویسههای غیرقابلچاپ،
شناسایی کاراکترهای پنهانی است که ممکن است در فایلهای متنی ما پنهان شده باشند. یکی از
رایجترین نمونههای این نویسهها، نویسهی «بازگشت به ابتدای سطر» (Carriage Return) است که در
فایلهای سیستمهای MS-DOS و ویندوز یافت میشود. علت این امر، تفاوت میان استانداردهای پایان
خط در یونیکس و DOS است. در سیستمهای یونیکس، پایان هر سطر با نویسهی خط جدید
(Linefeed – کد ASCII 10) مشخص میشود. در حالیکه در MS-DOS و سیستمهای جانشین آن، پایان سطر
با توالی دو نویسه «بازگشت به ابتدای سطر» (Carriage Return – کد ASCII 13) و بهدنبال آن
«خط جدید» (Linefeed) نشان داده میشود.
روشهای متعددی برای تبدیل فایلها از فرمت DOS به یونیکس وجود دارد. در بسیاری از توزیعهای
لینوکس، ابزارهای تخصصی dos2unix و unix2dos برای این منظور تعبیه
شدهاند. با این حال، در صورت عدم دسترسی به این برنامهها نیز جای نگرانی نیست؛ چرا که فرآیند
تبدیل یک فایل از فرمت DOS به یونیکس، صرفاً شامل حذف نویسههای ناخواستهٔ «بازگشت به ابتدای
سطر» است که با بهرهگیری از ابزارهای پردازش متنی که در ادامهٔ این فصل بررسی خواهیم کرد، به
سادگی قابل انجام است.
برنامهی cat علاوه بر نمایش، گزینههایی برای اعمال اصلاحات جزئی در خروجی متن
ارائه میدهد. دو گزینه کاربردی در این زمینه عبارتند از: -n برای شمارهگذاری
سطور و -s (مخفف squeeze-blank) جهت ادغام و حذف خطوط خالیِ متوالی. مثال زیر
نحوهی عملکرد این دو گزینه را نشان میدهد:
[me@linuxbox ~]$ cat > foo.txt
The quick brown fox
jumps over the lazy dog.
[me@linuxbox ~]$ cat -ns foo.txt
1 The quick brown fox
2
3 jumps over the lazy dog.
[me@linuxbox ~]$
در این نمونه، فایل foo.txt بهگونهای بازنویسی شد که شامل دو خط متن با فاصلهی
دو خط خالی میان آنها باشد. با اجرای دستور cat -ns مشاهده میکنید که خطوط
خالیِ مکرر فشرده شده و تمامی سطور خروجی شمارهگذاری شدهاند. اگرچه این یک عملیات پردازشی
ابتدایی است، اما گویای توانمندی این ابزار در مدیریت جریانهای متنی است.
دستور sort #
برنامهی sort محتویات ورودی استاندارد (stdin) یا یک یا چند فایل تعیینشده در
خط فرمان را مرتبسازی کرده و نتیجه را در خروجی استاندارد (stdout) چاپ میکند. با بهرهگیری از
همان تکنیکِ ایجاد فایل که در بخش cat آموختیم، میتوانیم پردازش مستقیم ورودی از
طریق صفحهکلید را به شکل زیر مشاهده کنیم:
[me@linuxbox ~]$ sort > foo.txt
c
b
a
[me@linuxbox ~]$ cat foo.txt
a
b
c
در این نمونه، پس از اجرای دستور، حروف c، b و a را
وارد کرده و با فشردن کلید ترکیبی Ctrl+d وضعیت پایان فایل (EOF) را اعلام کردیم.
پس از بازبینی فایل foo.txt مشاهده میشود که سطرها بر اساس ترتیب الفبایی مرتب
شدهاند.
از آنجا که ابزار sort قابلیت پذیرش چندین فایل بهصورت همزمان را دارد، میتوان از
آن برای ادغام و مرتبسازی یکپارچهی چندین منبع داده استفاده کرد. برای مثال، جهت ترکیب محتوای
سه فایل متنی مجزا در قالب یک فهرست واحد و مرتبشده، دستور زیر بهکار میرود:
sort file1.txt file2.txt file3.txt > final_sorted_list.txt
این دستور ابتدا محتوای تمامی فایلها را تجمیع نموده و سپس عملیات مرتبسازی را روی کل دادهها اعمال میکند.
برنامه sort از گزینههای متعددی برای کنترل دقیق فرآیند مرتبسازی بهره میبرد.
جدول زیر (جدول ۱-۲۰)، کاربردیترین گزینههای این دستور را معرفی میکند:
جدول ۱-۲۰: گزینههای متداول دستور sort
| گزینه کوتاه | گزینه بلند | شرح عملکرد |
|---|---|---|
-b |
--ignore-leading-blanks |
نادیده گرفتن فواصل ابتدای سطر؛ مرتبسازی بر اساس نخستین کاراکتر غیرفضایخالی انجام میشود. |
-f |
--ignore-case |
غیرفعال کردن حساسیت به حروف بزرگ و کوچک (Case-insensitive). |
-n |
--numeric-sort |
مرتبسازی خطوط بر اساس ارزش عددیِ رشتهها، بهجای ترتیب واژهنامهای (Lexicographic) پیشفرض. در حالت پیشفرض، دستور sort رشتهها را کاراکتر به کاراکتر و بر اساس جدول کدهای ASCII مقایسه میکند؛ در نتیجه، عددی مانند «100» پیش از عدد «20» قرار میگیرد، چرا که کاراکتر «1» از نظر الفبایی مقدم بر «2» است. با فعال کردن گزینهی -n، برنامهی sort محتوای ابتدای هر خط را بهعنوان یک عدد صحیح یا اعشاری تفسیر کرده و بر اساس مقدار واقعی آن مرتبسازی را انجام میدهد؛ این ویژگی بهویژه برای مرتبسازی صحیح فایلهای حاوی دادههای عددی (مانند اندازهی فایلها یا شمارههای شناسایی) ضروری است. |
-r |
--reverse |
معکوس کردن جهت مرتبسازی؛ نمایش نتایج به صورت نزولی. |
-k |
--key=field1[,field2] |
تعیین یک کلید خاص برای مرتبسازی بر اساس محدودهای از فیلد ۱ تا فیلد ۲، بهجای کل سطر. |
-m |
--merge |
ادغام فایلهایی که از پیش مرتب شدهاند؛ این گزینه چندین فایل را بدون پردازش مجدد با هم ترکیب میکند. |
-o |
--output=file |
هدایت مستقیم خروجی مرتبشده به یک فایل مشخص، بهجای استفاده از خروجی استاندارد. |
-t |
--field-separator=char |
تعیین کاراکتر جداکنندهی فیلدها (مانند کاما یا دونقطه). بهصورت پیشفرض از فاصله (Space) یا تب (Tab) استفاده میشود. |
اگرچه اکثر این گزینهها عملکردی بدیهی دارند، اما برخی از آنها نیازمند واکاوی دقیقتر هستند.
در گام نخست، به بررسی گزینهی -n میپردازیم که برای مرتبسازی عددی (Numeric
Sort) طراحی شده است. این گزینه به ابزار sort اجازه میدهد تا برخلاف حالت
پیشفرضِ الفبایی، مقادیر را بر اساس وزن عددی آنها پردازش کند.
یک سناریوی کاربردی برای درک این تفاوت، استفاده از دستور du جهت شناسایی
دایرکتوریهایی است که بیشترین فضای دیسک را اشغال کردهاند. بهصورت عادی، دستور
du خروجی خود را بر اساس ترتیب حروف الفبای مسیرها ارائه میدهد:
[me@linuxbox ~]$ du -s /usr/share/* | head
252 /usr/share/aclocal
96 /usr/share/acpi-support
8 /usr/share/adduser
196 /usr/share/alacarte
344 /usr/share/alsa
8 /usr/share/alsa-base
12488 /usr/share/anthy
8 /usr/share/apmd
21440 /usr/share/app-install
48 /usr/share/application-registry
در مثال بالا، خروجی را به دستور head پایپ (Pipe) کردیم تا صرفاً ۱۰ سطر نخست
نمایش داده شود. حال برای استخراج فهرستی از ۱۰ اشغالکنندهی اصلی فضای ذخیرهسازی، خروجی را
با استفاده از ترکیب گزینههای -nr (مرتبسازی عددی و معکوس) پردازش میکنیم:
[me@linuxbox ~]$ du -s /usr/share/* | sort -nr | head
509940 /usr/share/locale-langpack
242660 /usr/share/doc
197560 /usr/share/fonts
179144 /usr/share/gnome
146764 /usr/share/myspell
144304 /usr/share/gimp
135880 /usr/share/dict
76508 /usr/share/icons
68072 /usr/share/apps
62844 /usr/share/foomatic
استفاده از ترکیب گزینههای -n و -r جهت انجام مرتبسازی عددی
معکوس، باعث میشود بزرگترین مقادیر در ابتدای خروجی قرار گیرند. این روش زمانی که عدد مورد
نظر در ابتدای سطر باشد بهخوبی عمل میکند؛ اما پرسش اینجاست که اگر بخواهیم مرتبسازی را بر
اساس مقداری در میانهی سطر انجام دهیم، چه راهکاری وجود دارد؟ برای نمونه، خروجی دستور
ls -l را در نظر بگیرید:
[me@linuxbox ~]$ ls -l /usr/bin | head
total 152948
-rwxr-xr-x 1 root root 34824 2016-04-04 02:42 [
-rwxr-xr-x 1 root root 101556 2007-11-27 06:08 a2p
-rwxr-xr-x 1 root root 13036 2016-02-27 08:22 aconnect
-rwxr-xr-x 1 root root 10552 2007-08-15 10:34 acpi
-rwxr-xr-x 1 root root 3800 2016-04-14 03:51 acpi_fakekey
-rwxr-xr-x 1 root root 7536 2016-04-19 00:19 acpi_listen
-rwxr-xr-x 1 root root 3576 2016-04-29 07:57 addpart
-rwxr-xr-x 1 root root 20808 2016-01-03 18:02 addr2line
-rwxr-xr-x 1 root root 489704 2016-10-09 17:02 adept_batch
اگرچه خودِ دستور ls قابلیت مرتبسازی بر اساس حجم را دارد، اما میتوانیم این
وظیفه را به ابزار sort بسپاریم تا کنترل بیشتری بر فرآیند داشته باشیم. برای
مرتبسازی این فهرست بر اساس اندازهی فایل، از دستور زیر استفاده میکنیم:
[me@linuxbox ~]$ ls -l /usr/bin | sort -nrk 5 | head
-rwxr-xr-x 1 root root 8234216 2016-04-07 17:42 inkscape
-rwxr-xr-x 1 root root 8222692 2016-04-07 17:42 inkview
-rwxr-xr-x 1 root root 3746508 2016-03-07 23:45 gimp-2.4
-rwxr-xr-x 1 root root 3654020 2016-08-26 16:16 quanta
-rwxr-xr-x 1 root root 2928760 2016-09-10 14:31 gdhtui
-rwxr-xr-x 1 root root 2928756 2016-09-10 14:31 gdb
-rwxr-xr-x 1 root root 2602236 2016-10-10 12:56 net
-rwxr-xr-x 1 root root 2304684 2016-10-10 12:56 rpcclient
-rwxr-xr-x 1 root root 2241832 2016-04-04 05:56 aptitude
-rwxr-xr-x 1 root root 2202476 2016-10-10 12:56 smbcacls
اغلب کاربردهای sort معطوف به پردازش دادههای جدولی است. با استفاده از
ترمینولوژی پایگاهداده، هر سطر را یک «رکورد» (Record) و هر بخش از آن سطر را یک «فیلد»
(Field) مینامیم (مانند مجوزها، تعداد پیوندها، حجم فایل و نام فایل). ابزار
sort توانایی پردازش فیلدهای مجزا را دارد. ما میتوانیم یک یا چند «فیلدِ کلیدی»
(Key Fields) را بهعنوان معیار مرتبسازی تعیین کنیم. در مثال فوق، با استفاده از گزینه
-k 5 به برنامه فرمان دادیم که فیلد پنجم (حجم فایل) را بهعنوان مبنای مرتبسازی
عددی و معکوس لحاظ کند.
قابلیت -k بسیار منعطف و قدرتمند است، اما پیش از بهرهگیری از آن، درک منطق
تفکیک «فیلدها» (Fields) در ابزار sort ضروری است. سطر زیر را در نظر بگیرید:
William Shotts
بهطور پیشفرض، sort این سطر را شامل دو فیلد مجزا میبیند: فیلد نخست
"William" و فیلد دوم "Shotts". در واقع، ابزار sort
نویسههای Space و Tab را بهعنوان جداکنندهی پیشفرض در نظر میگیرد.
این بدان معناست که کاراکترهای فاصله یا تب به عنوان مرز میان فیلدها عمل کرده و در هنگام عملیات مرتبسازی، این جداکنندهها در محاسبات مربوط به محتوای هر فیلد لحاظ میشوند.
با واکاوی مجدد یک سطر از خروجی دستور ls -l محرز میشود که هر رکورد از هشت
فیلد مجزا تشکیل شده است که فیلد پنجم آن، اختصاصاً حجم فایل را نمایش میدهد:
-rwxr-xr-x 1 root root 8234216 2016-04-07 17:42 inkscape
جهت انجام آزمونهای عملی پیشرو، سناریویی را با استفاده از فایلی حاوی تاریخچهی انتشار سه توزیع پرطرفدار لینوکس در بازهی سالهای ۲۰۰۶ تا ۲۰۰۸ در نظر میگیریم. در این فایل، هر سطر شامل سه فیلدِ نام توزیع (Distribution)، شمارهی نسخه (Version) و تاریخ انتشار (Release Date) با فرمت MM/DD/YYYY است:
SUSE 10.2 12/07/2006
Fedora 10 11/25/2008
SUSE 11.0 06/19/2008
Ubuntu 8.04 04/24/2008
Fedora 8 11/08/2007
SUSE 10.3 10/04/2007
Ubuntu 6.10 10/26/2006
Fedora 7 05/31/2007
Ubuntu 7.10 10/18/2007
Ubuntu 7.04 04/19/2007
SUSE 10.1 05/11/2006
Fedora 6 10/24/2006
Fedora 9 05/13/2008
Ubuntu 6.06 06/01/2006
Ubuntu 8.10 10/30/2008
Fedora 5 03/20/2006
با استفاده از یک ویرایشگر متن (مانند vim)، دادههای فوق را وارد کرده و در فایلی
با نام distros.txt ذخیره میکنیم. حال با اجرای دستور sort بر روی
این فایل، خروجی زیر حاصل میشود:
[me@linuxbox ~]$ sort distros.txt
Fedora 10 11/25/2008
Fedora 5 03/20/2006
Fedora 6 10/24/2006
Fedora 7 05/31/2007
Fedora 8 11/08/2007
Fedora 9 05/13/2008
SUSE 10.1 05/11/2006
SUSE 10.2 12/07/2006
SUSE 10.3 10/04/2007
SUSE 11.0 06/19/2008
Ubuntu 6.06 06/01/2006
Ubuntu 6.10 10/26/2006
Ubuntu 7.04 04/19/2007
Ubuntu 7.10 10/18/2007
Ubuntu 8.04 04/24/2008
Ubuntu 8.10 10/30/2008
مشاهده میشود که خروجی تا حد زیادی مطلوب است، اما در مرتبسازی شماره نسخههای توزیع Fedora اختلالی دیده میشود. از آنجا که در مرتبسازی پیشفرضِ واژهنامهای (Lexicographical)، نویسهی «1» پیش از «5» قرار میگیرد، نسخهی ۱۰ فدورا در ابتدای فهرست و نسخهی ۹ در انتهای آن قرار گرفته است.
برای اصلاح این رفتار، باید از مرتبسازی چندکلیدی (Multi-key Sorting) بهره گرفت. هدف ما این
است که ابتدا اولویت را به فیلد اول (مرتبسازی الفبایی نام توزیع) اختصاص دهیم و سپس فیلد دوم را
بر مبنای ارزش عددی مرتب کنیم. ابزار sort امکان فراخوانی مکرر گزینهی
-k را برای تعیین چندین «کلیدِ مرتبسازی» فراهم میکند. شایان ذکر است که هر
کلید میتواند شامل بازهای از فیلدها باشد؛ اما چنانچه این بازه محدود نشود،
sort از فیلد مذکور تا انتهای سطر را بهعنوان کلید در نظر میگیرد. نحوهی
پیادهسازی این مرتبسازی ترکیبی به شرح زیر است:
[me@linuxbox ~]$ sort --key=1,1 --key=2n distros.txt
Fedora 5 03/20/2006
Fedora 6 10/24/2006
Fedora 7 05/31/2007
Fedora 8 11/08/2007
Fedora 9 05/13/2008
Fedora 10 11/25/2008
SUSE 10.1 05/11/2006
SUSE 10.2 12/07/2006
SUSE 10.3 10/04/2007
SUSE 11.0 06/19/2008
Ubuntu 6.06 06/01/2006
Ubuntu 6.10 10/26/2006
Ubuntu 7.04 04/19/2007
Ubuntu 7.10 10/18/2007
Ubuntu 8.04 04/24/2008
Ubuntu 8.10 10/30/2008
اگرچه برای شفافیت بیشتر از فرم طولانی گزینهها استفاده شد، اما عبارت -k 1,1 -k 2n
دقیقاً همان عملکرد را دارد. در نخستین فراخوانی کلید، بازهی 1,1 را تعریف کردیم
که به معنای «شروع و پایان در فیلد اول» است؛ این کار باعث میشود مرتبسازی صرفاً به همان فیلد
محدود گردد. در فراخوانی دوم، از 2n استفاده کردیم تا فیلد دوم به عنوان مبنای
مرتبسازی عددی لحاظ شود. شایان ذکر است که میتوان حروف اختصاری تعیینکنندهی نوع مرتبسازی را
مستقیماً به انتهای شمارهی فیلد ضمیمه کرد. این حروف همان گزینههای عمومی sort
هستند؛ مانند b (نادیده گرفتن فواصل ابتدایی)، n (مرتبسازی عددی) و
r (مرتبسازی معکوس).
فیلد سوم در فهرست ما حاوی تاریخی است که ساختار آن برای مرتبسازی استاندارد چندان مناسب نیست.
در دنیای پردازش داده، معمولاً از فرمت YYYY-MM-DD استفاده میشود تا ترتیب زمانی با
ترتیب الفبایی منطبق گردد؛ اما تاریخهای فایل ما با فرمت آمریکایی MM/DD/YYYY درج
شدهاند. برای مرتبسازی زمانی چنین فهرستی، ابزار sort قابلیت تعیین «آفست»
(Offset) در داخل فیلد را ارائه میدهد:
[me@linuxbox ~]$ sort -k 3.7nbr -k 3.1nbr -k 3.4nbr distros.txt
Fedora 10 11/25/2008
Ubuntu 8.10 10/30/2008
SUSE 11.0 06/19/2008
Fedora 9 05/13/2008
Ubuntu 8.04 04/24/2008
Fedora 8 11/08/2007
Ubuntu 7.10 10/18/2007
SUSE 10.3 10/04/2007
Fedora 7 05/31/2007
Ubuntu 7.04 04/19/2007
SUSE 10.2 12/07/2006
Ubuntu 6.10 10/26/2006
Fedora 6 10/24/2006
Ubuntu 6.06 06/01/2006
SUSE 10.1 05/11/2006
Fedora 5 03/20/2006
در این دستور، با تعیین 3.7 به برنامه فرمان دادیم که از نویسهی هفتم در فیلد
سوم (که آغازگر عدد سال است) برای شروع مرتبسازی استفاده کند. به همین ترتیب، آفستهای
3.1 و 3.4 را برای استخراج ماه و روز تعریف کردیم. افزودن گزینههای
n و r باعث شد تا یک مرتبسازی عددی و معکوس (از جدیدترین به
قدیمیترین) صورت گیرد. همچنین استفاده از گزینهی b برای حذف فواصل احتمالی ابتدای
فیلد الزامی است، چرا که نوسان در تعداد فواصل میتواند دقت محاسبات آفست را مختل کند.
در برخی از فایلهای سیستمی، از نویسههایی بهجز فاصله (Space) یا تب (Tab) برای تفکیک ستونها
استفاده میشود؛ برای نمونه، ساختار فایل /etc/passwd را ملاحظه کنید:
[me@linuxbox ~]$ head /etc/passwd
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/bin/sh
bin:x:2:2:bin:/bin:/bin/sh
sys:x:3:3:sys:/dev:/bin/sh
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/bin/sh
man:x:6:12:man:/var/cache/man:/bin/sh
lp:x:7:7:lp:/var/spool/lpd:/bin/sh
mail:x:8:8:mail:/var/mail:/bin/sh
news:x:9:9:news:/var/spool/news:/bin/sh
در این فایل، فیلدها توسط نویسهی دونقطه (:) از یکدیگر مجزا شدهاند. در چنین
شرایطی، ابزار sort گزینهی -t (مخفف field-separator) را جهت تعریف
جداکنندهی سفارشی ارائه میدهد. برای مثال، جهت مرتبسازی این فایل بر اساس فیلد هفتم (که
نشاندهندهی پوسته پیشفرض یا Login Shell کاربر است)، میتوان از دستور زیر بهره جست:
[me@linuxbox ~]$ sort -t ':' -k 7 /etc/passwd | head
me:x:1001:1001:Myself,,,:/home/me:/bin/bash
root:x:0:0:root:/root:/bin/bash
dhcp:x:101:102::/nonexistent:/bin/false
gdm:x:106:114:Gnome Display Manager:/var/lib/gdm:/bin/false
hplip:x:104:7:HPLIP system user,,,:/var/run/hplip:/bin/false
klog:x:103:104::/home/klog:/bin/false
messagebus:x:108:119::/var/run/dbus:/bin/false
polkituser:x:110:122:PolicyKit,,,:/var/run/PolicyKit:/bin/false
pulse:x:107:116:PulseAudio daemon,,,:/var/run/pulse:/bin/false
با تعیین صریح نویسهی دونقطه بهعنوان جداکنندهی فیلد (Field Delimiter)، امکان مرتبسازی دقیق دادهها بر مبنای ستون هفتم فراهم شده است.
دستور uniq #
در مقایسه با ابزار sort دستور uniq ساختار سادهتری دارد و وظیفهای
مشخص را دنبال میکند: این برنامه با دریافت یک فایل مرتبسازیشده (یا ورودی استاندارد)،
سطرهای تکراری متوالی را حذف کرده و نتیجه را در خروجی استاندارد چاپ میکند. از این رو،
uniq غالباً در ترکیب با sort جهت پاکسازی خروجی از رکوردهای تکراری
بهکار میرود.
uniq ابزاری کلاسیک در یونیکس محسوب میشود، اما نسخهی GNU ابزار
sort دارای گزینه -u است که میتواند همزمان با مرتبسازی، سطرهای
تکراری را نیز فیلتر کند.
برای درک بهتر عملکرد این ابزار، فایلی آزمایشی ایجاد میکنیم:
[me@linuxbox ~]$ cat > foo.txt
a
b
c
a
b
c
پس از تایپ محتوا، برای خروج از وضعیت ورود داده، کلید Ctrl+d را فشار دهید. حال
اگر uniq را مستقیماً روی این فایل اجرا کنیم، نتیجه به شکل زیر خواهد بود:
[me@linuxbox ~]$ uniq foo.txt
a
b
c
a
b
c
مشاهده میکنید که تغییری در خروجی حاصل نشده و سطرهای تکراری حذف نشدهاند. برای اینکه
uniq بتواند وظیفهی خود را بهدرستی انجام دهد، ورودی آن لزوماً باید از قبل
مرتبسازی شده باشد:
[me@linuxbox ~]$ sort foo.txt | uniq
a
b
c
دلیل این رفتار آن است که uniq صرفاً سطرهای تکراری که بلافاصله پس از یکدیگر
(Adjacent) قرار دارند را شناسایی و حذف میکند.
ابزار uniq دارای چندین گزینه کاربردی است که امکان مدیریت دقیقتر دادههای تکراری
را فراهم میکند. جدول زیر (جدول ۲-۲۰)، متداولترین گزینههای این دستور را معرفی میکند:
جدول ۲-۲۰: گزینههای کاربردی دستور uniq
| گزینه کوتاه | گزینه بلند | شرح عملکرد |
|---|---|---|
-c |
--count |
شمارش تعداد تکرار هر خط را محاسبه کرده و آن را بهعنوان یک پیشوند عددی در ابتدای خط خروجی درج میکند. |
-d |
--repeated |
تنها خطوطی را در خروجی نمایش میدهد که حداقل یک بار تکرار شدهاند. بهازای هر گروه از خطوط تکراری، فقط یک نمونه چاپ میشود. |
-f n |
--skip-fields=n |
پیش از شروع مقایسه، تعداد n فیلد ابتدایی هر سطر را نادیده میگیرد. فیلدها دنبالهای از کاراکترهای غیرفاصله هستند که با فاصله یا تب از هم جدا میشوند. |
-i |
--ignore-case |
در فرآیند مقایسه خطوط، تفاوت میان حروف بزرگ و کوچک را نادیده میگیرد. |
-s n |
--skip-chars=n |
پیش از شروع مقایسه، تعداد n کاراکتر نخست هر سطر را نادیده میگیرد. |
-u |
--unique |
تنها خطوطی را در خروجی نمایش میدهد که در کل ورودی، تکرار نشده و منحصربهفرد هستند. |
در این مثال، ابزار uniq با استفاده از گزینهی -c برای گزارش تعداد
فراوانی هر سطر در فایل متنی بهکار گرفته شده است:
[me@linuxbox ~]$ sort foo.txt | uniq -c
2 a
2 b
2 c
در خروجی فوق، عددی که در ابتدای هر سطر درج شده، نشاندهندهی تعداد دفعات تکرار آن رکورد در
فایل اصلی است. این ترکیب (sort | uniq -c) یکی از پرکاربردترین الگوها در خط
فرمان لینوکس برای استخراج آمار و تحلیل توزیع دادهها محسوب میشود.
ابزارهای برش و تفکیک متن #
سه برنامهای که در ادامه بررسی خواهیم کرد، جهت استخراج ستونهای متنی از فایلها و بازترکیب آنها به شیوههای کاربردی طراحی شدهاند.
دستور cut #
برنامهی cut برای استخراج بخشهای مشخصی از یک سطر متن و ارسال آن به خروجی
استاندارد (stdout) بهکار میرود. این ابزار قابلیت پذیرش چندین فایل ورودی را دارد و همچنین
میتواند دادهها را از ورودی استاندارد (stdin) دریافت کند.
تعیین محدودهی استخراج در هر سطر با استفاده از گزینههای جدول ۳-۲۰ انجام میشود که پارامترهای نسبتاً متنوعی را در اختیار کاربر قرار میدهد:
جدول ۳-۲۰: گزینههای کاربردی دستور cut
| گزینه کوتاه | گزینه بلند | شرح عملکرد |
|---|---|---|
-c list |
--characters=list |
استخراج کاراکترهای مشخصشده در list از هر سطر. list شامل یک یا چند عدد یا بازه (مانند 1-5 یا 3-7,9) است که با کاما از هم جدا میشوند. شمارهگذاری کاراکترها از 1 آغاز میشود. |
-f list |
--fields=list |
استخراج فیلدهای مشخصشده در list از هر سطر. فیلدها بهطور پیشفرض با نویسهٔ Tab از هم جدا میشوند. هر سطری که فاقد جداکننده باشد، بهطور کامل چاپ میشود مگر اینکه گزینهٔ -s نیز به کار رود. |
-d delim |
--delimiter=delim |
تعیین نویسهٔ delim بهعنوان جداکنندهٔ فیلدها هنگام استفاده از گزینهٔ -f. در صورت عدم استفاده از این گزینه، نویسهٔ Tab بهعنوان جداکنندهٔ پیشفرض در نظر گرفته میشود. |
--complement |
معکوسسازی عملیات انتخاب؛ بهجای استخراج بخشهای مشخصشده توسط -c یا -f، تمامی بخشهای دیگر سطر استخراج میشوند. این گزینه یک افزونهٔ GNU است. |
همانطور که ملاحظه میشود، مکانیزم استخراج متن در ابزار cut تا حدودی محدود است.
این برنامه بیشترین کارایی را در پردازش خروجیهای تولیدشده توسط سایر برنامهها (دادههای
ساختاریافته) دارد و برای متونی که مستقیماً توسط انسان تایپ شدهاند (و ممکن است نظم فیلدبندی
دقیقی نداشته باشند)، گزینهی ایدهآلی محسوب نمیشود.
به منظور اطمینان از ساختار یافته بودن فایل distros.txt برای استفاده در مثالهای
ابزار cut سطرها را واکاوی میکنیم. با بهکارگیری دستور cat همراه با
گزینه -A میتوان وجود نویسههای کنترلی نظیر Tab را احراز کرد:
[me@linuxbox ~]$ cat -A distros.txt
SUSE^I10.2^I12/07/2006$
Fedora^I10^I11/25/2008$
SUSE^I11.0^I06/19/2008$
Ubuntu^I8.04^I04/24/2008$
Fedora^I8^I11/08/2007$
SUSE^I10.3^I10/04/2007$
Ubuntu^I6.10^I10/26/2006$
Fedora^I7^I05/31/2007$
Ubuntu^I7.10^I10/18/2007$
Ubuntu^I7.04^I04/19/2007$
SUSE^I10.1^I05/11/2006$
Fedora^I6^I10/24/2006$
Fedora^I9^I05/13/2008$
Ubuntu^I6.06^I06/01/2006$
Ubuntu^I8.10^I10/30/2008$
Fedora^I5^I03/20/2006$
همانطور که مشاهده میشود، دادهها کاملاً منسجم هستند؛ فواصل اضافی در متن وجود ندارد و فیلدها
صرفاً با یک نویسهی Tab (که در اینجا با ^I نمایش داده شده) از هم تفکیک شدهاند.
با توجه به اینکه Tab جداکنندهی پیشفرض در ابزار cut است، استفاده از گزینهی
-f (مخفف fields) بهینهترین روش برای استخراج ستونها خواهد بود:
[me@linuxbox ~]$ cut -f 3 distros.txt
12/07/2006
11/25/2008
06/19/2008
04/24/2008
11/08/2007
10/04/2007
10/26/2006
05/31/2007
10/18/2007
04/19/2007
05/11/2006
10/24/2006
05/13/2008
06/01/2006
10/30/2008
03/20/2006
در فایلهایی که با Tab پیکربندی شدهاند، استخراج بر اساس فیلد بسیار مطمئنتر از استخراج بر اساس کاراکتر است؛ چرا که طول متغیر رشتهها در هر سطر، محاسبهی موقعیت دقیق کاراکترها را دشوار میسازد. با این حال، در مثال فوق، از آنجا که دادههای فیلد سوم (تاریخ) دارای طول ثابتی هستند، میتوانیم از استخراج کاراکتری برای جداسازی بخش «سال» استفاده کنیم:
[me@linuxbox ~]$ cut -f 3 distros.txt | cut -c 7-10
2006
2008
2008
2008
2007
2007
2006
2007
2007
2007
2006
2006
2008
2006
2008
2006
2006
در این فرآیند، خروجیِ دستور اول به یک دستور cut دیگر پایپ (Pipe) شده است تا صرفاً
کاراکترهای موقعیت ۷ تا ۱۰ (محدودهی سال) استخراج شوند. عبارت 7-10 نمونهای از
تعیین «بازه» (Range) در خط فرمان است. برای مطالعهی شیوههای پیچیدهترِ تعیین بازه، میتوانید
به مستندات سیستم (man cut) مراجعه کنید.
تبدیل نویسههای Tab به Space #
فایل distros.txt به دلیل استفاده از نویسهی Tab، ساختاری ایدهآل برای استخراج
فیلدها با ابزار cut دارد. اما چنانچه بخواهیم فایلی را بر اساس موقعیت دقیق
کاراکترها (و نه لزوماً فیلدها) پردازش کنیم، وجود تبها چالشبرانگیز خواهد بود؛ زیرا هر کاراکتر
تب در فایل تنها یک بایت اشغال میکند اما در نمایشگر معادل چندین فاصله دیده میشود. برای رفع
این مشکل، باید تبها را با تعداد معادلِ فاصله (Space) جایگزین کنیم.
بستهی GNU Coreutils برای این منظور ابزار expand را ارائه میدهد. این برنامه با
دریافت فایل ورودی یا خواندن از ورودی استاندارد، تبها را به فاصله تبدیل کرده و نتیجه را در
خروجی استاندارد چاپ میکند.
با پردازش فایل distros.txt توسط دستور expand میتوانیم بهراحتی از
cut -c برای استخراج هر بازهی دلخواهی از کاراکترها استفاده کنیم. برای نمونه، جهت
استخراج سال انتشار، ابتدا فایل را expand کرده و سپس تمامی کاراکترهای موجود از
موقعیت ۲۳ تا انتهای سطر را جدا میکنیم:
[me@linuxbox ~]$ expand distros.txt | cut -c 23-
همچنین ابزار معکوس این برنامه، یعنی unexpand نیز در دسترس است که فاصلهها را
(بهطور پیشفرض در ابتدای خطوط) به نویسهی Tab تبدیل میکند. این ابزار بیشتر برای کاهش حجم
فایلها از طریق جایگزینی فاصلهها با نویسهی فشردهتر Tab کاربرد دارد. بهطور پیشفرض،
unexpand تنها فاصلههای ابتدای هر خط را تبدیل میکند، اما با گزینهی
-a میتوان تمام فاصلهها را به تب تبدیل نمود.
در هنگام کار با فیلدها، الزامی به استفاده از نویسهی Tab وجود ندارد. ابزار cut
با استفاده از گزینهی -d امکان تعیین هر کاراکتر دلخواهی را بهعنوان جداکننده
فراهم میکند. در مثال زیر، فیلد اول از فایل /etc/passwd (که حاوی نامهای کاربری
است) را استخراج میکنیم:
[me@linuxbox ~]$ cut -d ':' -f 1 /etc/passwd | head
root
daemon
bin
sys
sync
games
man
lp
mail
news
با استفاده از پارامتر -d ':' به برنامه اعلام کردیم که در این فایل، نویسهی
دونقطه نقش جداکنندهی ستونها را بر عهده دارد.
دستور paste #
دستور paste عملکردی معکوس نسبت به ابزار cut دارد. این برنامه
بهجای جداسازی یک ستون متنی از فایل، یک یا چند ستون را به آن الحاق میکند. مکانیزم کارکرد آن
بدینصورت است که چندین فایل را بهصورت موازی خوانده و فیلدهای متناظر در هر یک را با هم ترکیب
کرده و در قالب یک جریان واحد به خروجی استاندارد ارسال میکند.
مشابه cut ابزار paste نیز آرگومانهای متعددی را در قالب فایل یا
ورودی استاندارد پذیراست. جهت نمایش کاربرد عملی این ابزار، فایل distros.txt را
بهگونهای بازآرایی میکنیم که فهرستی مبتنی بر توالیِ زمانی از نسخهها حاصل شود.
ابتدا با بهرهگیری از آموختههای پیشین درباره دستور sort فهرستی از توزیعها را
بر اساس تاریخ مرتب کرده و خروجی را در فایلی به نام distros-by-date.txt ذخیره
میکنیم:
[me@linuxbox ~]$ sort -k 3.7nbr -k 3.1nbr -k 3.4nbr distros.txt > distros-by-date.txt
در گام بعد، با استفاده از دستور cut دو فیلد نخست (نام توزیع و شماره نسخه) را
استخراج کرده و در فایل distros-versions.txt قرار میدهیم:
[me@linuxbox ~]$ cut -f 1,2 distros-by-date.txt > distros-versions.txt
[me@linuxbox ~]$ head distros-versions.txt
Fedora 10
Ubuntu 8.10
SUSE 11.0
Fedora 9
Ubuntu 8.04
Fedora 8
Ubuntu 7.10
SUSE 10.3
Fedora 7
Ubuntu 7.04
بهعنوان آخرین مرحله از فرآیند آمادهسازی، تاریخهای انتشار را نیز استخراج کرده و در فایلی با
نام distros-dates.txt ذخیره میکنیم:
[me@linuxbox ~]$ cut -f 3 distros-by-date.txt > distros-dates.txt
[me@linuxbox ~]$ head distros-dates.txt
11/25/2008
10/30/2008
06/19/2008
05/13/2008
04/24/2008
11/08/2007
10/18/2007
10/04/2007
05/31/2007
04/19/2007
اکنون که تمامی اجزای مورد نیاز تفکیک شدهاند، با استفاده از دستور paste ستون
تاریخها را پیش از نام و نسخهی توزیعها قرار میدهیم تا یک فهرست ترتیبی (بر اساس زمان) ایجاد
شود. این عملیات با تنظیم ترتیب آرگومانهای ورودی در دستور paste بهسادگی
امکانپذیر است:
[me@linuxbox ~]$ paste distros-dates.txt distros-versions.txt
11/25/2008 Fedora 10
10/30/2008 Ubuntu 8.10
06/19/2008 SUSE 11.0
05/13/2008 Fedora 9
04/24/2008 Ubuntu 8.04
11/08/2007 Fedora 8
10/18/2007 Ubuntu 7.10
10/04/2007 SUSE 10.3
05/31/2007 Fedora 7
04/19/2007 Ubuntu 7.04
12/07/2006 SUSE 10.2
10/26/2006 Ubuntu 6.10
10/24/2006 Fedora 6
06/01/2006 Ubuntu 6.06
05/11/2006 SUSE 10.1
03/20/2006 Fedora 5
دستور join #
از برخی جنبهها، join شباهتهایی به ابزار paste دارد، چرا که
ستونهای جدیدی را به فایل اضافه میکند؛ اما مکانیزم عملکرد آن کاملاً منحصربهفرد است. عملیات
join بهطور معمول در ادبیات سیستمهای مدیریت پایگاه داده رابطهای (Relational
Database Management System - RDBMS) ریشه دارد؛ جایی که دادهها از چندین جدول مختلف، بر اساس
یک فیلد کلید مشترک (Common Key Field) با یکدیگر ترکیب میشوند تا خروجی مورد نظر حاصل گردد.
برنامهی join دقیقاً همین وظیفه را در سطح فایلهای متنی بر عهده دارد. این برنامه
دادههای موجود در دو فایل را بر اساس یک فیلد کلید یکسان به یکدیگر پیوند (Link) میدهد.
برای درک بهتر کاربرد عملیات join در یک پایگاه داده رابطهای، فرض کنید یک پایگاه داده کوچک متشکل از دو جدول داریم که هر کدام حاوی یک رکورد هستند. جدول نخست تحت عنوان CUSTOMERS دارای سه فیلد است: شماره مشتری (CUSTNUM)، نام (FNAME) و نام خانوادگی (LNAME):
CUSTNUM FNAME LNAME
4681934 John Smith
جدول دوم با نام ORDERS شامل چهار فیلد است: شماره سفارش (ORDERNUM)، شماره مشتری (CUSTNUM)، تعداد (QUAN) و شرح کالا (ITEM):
ITEM QUAN CUSTNUM ORDERNUM
Blue Widget 1 4681934 3014953305
شایان ذکر است که هر دو جدول دارای فیلد مشترک CUSTNUM هستند. این اشتراک نقشی کلیدی ایفا میکند، زیرا امکان برقراری رابطه (Relationship) میان دو جدول را میسر میسازد.
اجرای عملیات join به ما اجازه میدهد فیلدهای این دو جدول را برای دستیابی به خروجی
کاربردیتر (مثلاً صدور یک فاکتور خرید) با هم ادغام کنیم. با انطباق مقادیر موجود در فیلد
CUSTNUM در هر دو جدول، دستور join میتواند نتیجهی ترکیبی زیر را ارائه دهد:
ITEM QUAN FNAME LNAME
Blue Widget 1 John Smith
به منظور تشریح عملکرد ابزار join نیازمند ایجاد فایلهایی با یک «فیلد کلید»
(Common Key) مشترک هستیم. در این سناریو، از فایل distros-by-date.txt به عنوان
منبع اصلی استفاده کرده و دو فایل مجزا از آن مشتق میکنیم. فایل نخست شامل تاریخ انتشار (که نقش
کلید مشترک را ایفا میکند) و نام توزیع خواهد بود:
[me@linuxbox ~]$ cut -f 1,1 distros-by-date.txt > distros-names.txt
[me@linuxbox ~]$ paste distros-dates.txt distros-names.txt > distros-key-names.txt
[me@linuxbox ~]$ head distros-key-names.txt
11/25/2008 Fedora
10/30/2008 Ubuntu
06/19/2008 SUSE
05/13/2008 Fedora
04/24/2008 Ubuntu
11/08/2007 Fedora
10/18/2007 Ubuntu
10/04/2007 SUSE
05/31/2007 Fedora
04/19/2007 Ubuntu
فایل دوم را به گونهای تنظیم میکنیم که شامل تاریخ انتشار و شماره نسخه توزیعها باشد:
[me@linuxbox ~]$ cut -f 2,2 distros-by-date.txt > distros-vernums.txt
[me@linuxbox ~]$ paste distros-dates.txt distros-vernums.txt > distros-key-vernums.txt
[me@linuxbox ~]$ head distros-key-vernums.txt
11/25/2008 10
10/30/2008 8.10
06/19/2008 11.0
05/13/2008 9
04/24/2008 8.04
11/08/2007 8
10/18/2007 7.10
10/04/2007 10.3
05/31/2007 7
04/19/2007 7.04
اکنون دو منبع داده در اختیار داریم که توسط فیلد «تاریخ انتشار» به یکدیگر مرتبط شدهاند. ذکر
این نکته ضروری است که برای عملکرد صحیح ابزار join فایلهای ورودی الزاماً باید بر
اساس فیلد کلید مرتبسازی (Sort) شده باشند.
[me@linuxbox ~]$ join distros-key-names.txt distros-key-vernums.txt | head
11/25/2008 Fedora 10
10/30/2008 Ubuntu 8.10
06/19/2008 SUSE 11.0
05/13/2008 Fedora 9
04/24/2008 Ubuntu 8.04
11/08/2007 Fedora 8
10/18/2007 Ubuntu 7.10
10/04/2007 SUSE 10.3
05/31/2007 Fedora 7
04/19/2007 Ubuntu 7.04
شایان ذکر است که ابزار join بهصورت پیشفرض از نویسهی فاصله (White Space) به
عنوان جداکنندهی فیلدهای ورودی و خروجی استفاده میکند. این رفتار استاندارد از طریق گزینههای
برنامه قابل سفارشیسازی است. برای بررسی پارامترهای پیشرفتهتر، میتوانید به مستندات سیستم
(man join) مراجعه نمایید.
دستور tac #
دستور tac از نظر عملکردی مشابه cat است، با این تفاوت که پردازش
سطرها را بهصورت معکوس (از انتها به ابتدا) انجام میدهد. نام این ابزار نیز دقیقاً
برعکسشدهی کلمهی cat است تا ماهیت معکوس آن را تداعی کند. یکی از کاربردهای
رایج tac در مدیریت سیستم، بازآرایی فایلهای گزارش (Log Files) برای بررسی
سریعتر وقایع اخیر است.
بهطور معمول، سیستمهای لینوکسی وقایع جدید را به انتهای فایلهای گزارش ضمیمه میکنند، به گونهای که قدیمیترین رکورد در ابتدای فایل و جدیدترین آنها در انتها قرار میگیرد:
[me@linuxbox ~]$ tail /var/log/backup.log
Wed Aug 14 06:00:32 AM EDT 2025: backup (0.6) of linuxbox started.
Wed Aug 14 06:08:01 AM EDT 2025: backup of linuxbox finished.
Thu Aug 15 07:36:30 AM EDT 2025: backup (0.6) of linuxbox started.
Thu Aug 15 07:45:57 AM EDT 2025: backup of linuxbox finished.
Fri Aug 16 07:37:57 AM EDT 2025: backup (0.6) of linuxbox started.
Fri Aug 16 07:44:11 AM EDT 2025: backup of linuxbox finished.
چنانچه تحلیلگر نیاز داشته باشد تازهترین رویدادها را در صدر فهرست مشاهده کند، میتواند خروجی
را به ابزار tac پایپ (Pipe) کند:
[me@linuxbox ~]$ tail /var/log/backup.log | tac
Fri Aug 16 07:44:11 AM EDT 2025: backup of linuxbox finished.
Fri Aug 16 07:37:57 AM EDT 2025: backup (0.6) of linuxbox started.
Thu Aug 15 07:45:57 AM EDT 2025: backup of linuxbox finished.
Thu Aug 15 07:36:30 AM EDT 2025: backup (0.6) of linuxbox started.
Wed Aug 14 06:08:01 AM EDT 2025: backup of linuxbox finished.
Wed Aug 14 06:00:32 AM EDT 2025: backup (0.6) of linuxbox started.
دستور rev #
دستور rev عملکردی مشابه tac دارد، اما بهجای معکوس کردن ترتیب
سطرها، ترتیب نویسهها را در هر سطر وارونه میکند:
[me@linuxbox ~]$ echo "This is a test." | rev
.tset a si sihT
اگرچه این قابلیت در ظاهر صرفاً جنبهی نمایشی دارد، اما در ترکیب با ابزارهایی نظیر
cut قدرت واقعی خود را در پردازش متون با طول متغیر نشان میدهد. بار دیگر فایل
backup.log را در نظر بگیرید؛ فرض کنید قصد داریم علامت نقطه (.) را از انتهای
تمامی سطرها حذف کنیم. از آنجا که طول سطرها یکسان نیست، نمیتوان با استفاده از ابزار
cut موقعیت ثابتی را از انتهای سطر هدف قرار داد. اینجاست که rev
راهکاری هوشمندانه ارائه میدهد: با معکوس کردن سطر، نویسهی انتهایی به ابتدای سطر منتقل میشود
و بهراحتی توسط cut قابل حذف خواهد بود.
[me@linuxbox ~]$ tail /var/log/backup.log | rev | cut -c 2- | rev
Wed Aug 14 06:00:32 AM EDT 2025: backup (0.6) of linuxbox started
Wed Aug 14 06:08:01 AM EDT 2025: backup of linuxbox finished
Thu Aug 15 07:36:30 AM EDT 2025: backup (0.6) of linuxbox started
Thu Aug 15 07:45:57 AM EDT 2025: backup of linuxbox finished
Fri Aug 16 07:37:57 AM EDT 2025: backup (0.6) of linuxbox started
Fri Aug 16 07:44:11 AM EDT 2025: backup of linuxbox finished
در این زنجیرهی دستوری (Pipeline)، ابتدا توسط rev محتوای هر سطر واژگون میشود.
سپس با cut -c 2- تمامی نویسهها از موقعیت دوم به بعد (یعنی حذف اولین کاراکتر که
همان نقطهی انتهایی سابق است) استخراج میگردند. در نهایت، با فراخوانی مجدد rev
متن به حالت طبیعی و خوانا بازگردانده میشود.
ابزارهای مقایسه متن #
در بسیاری از سناریوها، مقایسهی نسخههای مختلف فایلهای متنی ضرورتی اجتنابناپذیر است. این موضوع برای مدیران سیستم و توسعهدهندگان نرمافزار اهمیت ویژهای دارد؛ برای نمونه، یک مدیر سیستم ممکن است برای ریشهیابی اختلالات، فایل پیکربندی (Config) فعلی را با نسخهی پشتیبان قبلی مقایسه کند، یا یک برنامهنویس بخواهد تغییرات اعمالشده در کد منبع را در طول زمان رصد نماید.
دستور comm #
برنامهی comm دو فایل متنی را سطر به سطر مقایسه کرده و سطرهای منحصربهفرد هر
فایل و همچنین سطرهای مشترک را تفکیک میکند. برای درک بهتر، دو فایل تقریباً مشابه ایجاد
میکنیم:
[me@linuxbox ~]$ cat > file1.txt
a
b
c
d
[me@linuxbox ~]$ cat > file2.txt
b
c
d
e
سپس با استفاده از دستور comm آنها را با هم مقایسه میکنیم:
[me@linuxbox ~]$ comm file1.txt file2.txt
a
b
c
d
e
همانطور که ملاحظه میشود، خروجی comm در سه ستون دستهبندی میشود:
- ستون اول: سطرهایی که صرفاً در فایل اول موجودند.
- ستون دوم: سطرهایی که صرفاً در فایل دوم یافت میشوند.
- ستون سوم: سطرهایی که در هر دو فایل مشترک هستند.
ابزار comm از گزینههایی به فرم -n بهره میبرد که در آن n میتواند
1، 2 یا 3 باشد. این گزینهها برای مخفیسازی ستونهای متناظر بهکار میروند. برای مثال، اگر
بخواهیم صرفاً سطرهای مشترک میان دو فایل را استخراج کنیم، باید ستونهای اول و دوم را حذف
نماییم:
[me@linuxbox ~]$ comm -12 file1.txt file2.txt
b
c
d
توجه داشته باشید که ابزار comm برای عملکرد صحیح، نیازمند آن است که هر دو فایل
ورودی از پیش مرتبسازی شده باشند.
دستور diff #
مشابه برنامهی comm ابزار diff نیز برای شناسایی تفاوتهای میان
فایلها به کار میرود. با این حال، diff ابزاری بهمراتب توانمندتر و پیچیدهتر است
که از قالبهای خروجی متنوعی پشتیبانی میکند و قابلیت پردازش همزمان مجموعههای حجیمی از
فایلهای متنی را دارد. توسعهدهندگان نرمافزار بهوفور از diff برای واکاوی
تغییرات در نسخههای مختلف کد منبع استفاده میکنند؛ از این رو، این ابزار قابلیت پیمایش بازگشتی
(recursive) دایرکتوریهای پروژه را که در اصطلاح تخصصی «ساختار درختی کد منبع» (Source Tree)
نامیده میشوند، داراست.
یکی از کاربردهای کلیدی diff ایجاد فایلهای وصله (Patch) است. این فایلها توسط
برنامههایی نظیر patch (که در ادامه به آن خواهیم پرداخت) بهمنظور تبدیل یک نسخه
از فایل به نسخهای دیگر مورد استفاده قرار میگیرند.
چنانچه از diff برای مقایسهی فایلهای نمونهی قبلی استفاده کنیم، خروجی به شرح زیر خواهد بود:
[me@linuxbox ~]$ diff file1.txt file2.txt
1d0
< a
4a4
> e
در اینجا فرمت پیشفرض خروجی را مشاهده میکنید که گزارشی فشرده از تفاوتهای میان دو فایل ارائه میدهد. در این قالب، هر گروه از تغییرات با یک «دستور ویرایشی» (Change Command) همراه است. این دستورات بهصورت «محدوده، نوع عملیات، محدوده» بیان میشوند تا موقعیت و ماهیت تغییرات لازم برای تبدیل فایل اول به فایل دوم را مطابق جدول ۴-۲۰ تبیین کنند.
جدول ۴-۲۰: دستورات ویرایشی در خروجی diff
| دستور | شرح عملکرد |
|---|---|
r1a r2 |
نشاندهندهی عملیات افزودن (Add) است. این دستور به این معناست که برای تبدیل فایل اول به فایل دوم، باید سطرهای واقع در محدودهی r2 از فایل دوم را، بلافاصله پس از سطر r1 در فایل اول، اضافه کرد. در اینجا، r1 به سطری در فایل اول اشاره دارد که محل درج تغییرات جدید پس از آن است، و r2 محدودهی سطرهایی از فایل دوم است که باید افزوده شوند. |
r1c r2 |
نشاندهندهی عملیات تغییر (Change) است. این دستور بیان میکند که سطرهای واقع در محدودهی r1 از فایل اول باید با سطرهای واقع در محدودهی r2 از فایل دوم جایگزین شوند. از نظر عملکردی، این دستور معادل انجام همزمان یک عملیات حذف و سپس افزودن است، با این تفاوت که diff آن را در قالبی فشردهتر و خواناتر گزارش میدهد. |
r1d r2 |
نشاندهندهی عملیات حذف (Delete) است. این دستور به این معناست که سطرهای واقع در محدودهی r1 باید از فایل اول حذف شوند تا فایل اول به فایل دوم تبدیل شود. در اینجا، r2 صرفاً شمارهی خطی در فایل دوم را نشان میدهد که موقعیت متناظر (یعنی جایی که این سطرها در صورت وجود، در فایل دوم قرار میداشتند) را مشخص میکند؛ به بیان دیگر، r2 خودِ محتوای حذفشده نیست، بلکه صرفاً یک نقطهی مرجع برای مکانیابی در فایل دوم است. |
در این ساختار، «محدوده» (Range) شامل شمارهی سطر شروع و پایان است که با کاما از یکدیگر جدا
میشوند. اگرچه این قالب، موسوم به قالب «عادی» (Normal Format)، به دلیل انطباق با استاندارد
POSIX و حفظ سازگاری با نسخههای سنتی یونیکس بهعنوان پیشفرض ابزار diff در نظر
گرفته شده است، اما در عمل خوانایی چندانی ندارد؛ چرا که هیچ سطر مشترکی از متن اصلی را برای
مرجعدهی نمایش نمیدهد و صرفاً به شمارهی خطوط بسنده میکند. به همین دلیل، امروزه دو قالب
کاربردیتر، یعنی قالب «زمینه» (Context Format) و قالب «یکپارچه» (Unified Format)، رواج
بیشتری یافتهاند.
هنگامی که ابزار diff با قالب «زمینه» (گزینهی -c) اجرا میشود، خروجی به شرح زیر نمایش مییابد:
[me@linuxbox ~]$ diff -c file1.txt file2.txt
*** file1.txt 2025-12-23 06:40:13.000000000 -0500
--- file2.txt 2025-12-23 06:40:34.000000000 -0500
***************
*** 1,4 ****
- a
b
c
d
--- 1,4 ----
b
c
d
+ e
خروجی با درج نام فایلها و برچسب زمانیِ آخرین تغییرات آنها آغاز میگردد. در این ساختار، فایل
نخست با نماد ستاره (***) و فایل دوم با نماد خط تیره (---) متمایز
میشوند. در سراسر گزارش، از همین نمادها برای ارجاع به هر فایل استفاده شده است. پس از بخش
سرآیند، گروههای تغییرات به همراه تعدادی از سطرهای زمینه (Context Lines) برای درک بهتر موقعیت
تغییر نمایش داده میشوند. در اولین گروه، عبارت زیر مشاهده میشود:
*** 1,4 ***
این بخش نشاندهندهی بازهی سطرهای ۱ تا ۴ در فایل اول است. در ادامه نیز عبارت زیر را مشاهده میکنیم:
--- 1,4 ---
این سطر به بازهی متناظر در فایل دوم اشاره دارد. در این قالب، تغییرات با نشانههای خاصی در ستون
اول مشخص میشوند؛ علامت - به معنای حذف سطر از فایل اول، علامت +
به معنای افزودن سطر به فایل دوم و علامت ! نشاندهندهی اصلاح یا تغییر محتوای سطر
است.
در قالب «زمینه» (Context Format)، هر سطر درون یک گروه تغییر با یکی از چهار شاخص توصیفشده در جدول ۵-۲۰ آغاز میشود که وضعیت آن سطر را نسبت به فایل مقابل مشخص میکند:
جدول ۵-۲۰: شاخصهای وضعیت سطر در قالب Context
| شاخص | معنا و مفهوم فنی |
|---|---|
(فاصله خالی) |
سطر زمینه (Context): این سطر در هر دو فایل یکسان است و صرفاً برای درک موقعیت تغییر و ایجاد بافت اطلاعاتی (Context) در اطراف تفاوتها نمایش داده میشود. |
- |
سطر حذفی: این سطر در فایل اول وجود دارد، اما در فایل دوم یافت نمیشود و نشاندهندهٔ یک خط حذفشده است. |
+ |
سطر الحاقی: این سطر در فایل اول وجود ندارد و به فایل دوم افزوده شده است؛ بنابراین یک خط اضافهشده محسوب میشود. |
! |
سطر اصلاحشده: نشاندهندهٔ تغییری است که در یک یا چند سطر رخ داده و محتوای آنها بین دو فایل متفاوت است. در این حالت، هر دو نسخه از سطر (قدیم و جدید) در بخش مربوط به خود در خروجی نمایش داده میشوند. |
قالب «یکپارچه» (Unified Format) شباهت ساختاری زیادی به قالب Context دارد، اما با حذف تکرار
سطرهای مشترک، خروجی فشردهتر و خواناتری ارائه میدهد. این قالب که با گزینهی -u
فراخوانی میشود، در پروژههای نرمافزاری مدرن استاندارد رایجتری است:
[me@linuxbox ~]$ diff -u file1.txt file2.txt
--- file1.txt2008-12-23 06:40:13.000000000 -0500
+++ file2.txt2008-12-23 06:40:34.000000000 -0500
@@ -1,4 +1,4 @@
-a
b
c
d
+e
تمایز بنیادین میان قالب «زمینه» (Context) و قالب «یکپارچه» (Unified)، حذف سطرهای تکراری در زمینه (Context) است؛ امری که موجب میگردد خروجی در قالب یکپارچه (Unified) بهمراتب کوتاهتر و بهینهتر باشد. در مثال پیشین، پس از درج برچسبهای زمانی (مشابه قالب Context)، عبارت زیر درج شده است:
@@ -1,4 +1,4 @@
این رشته مختصات دقیق سطرهایی از فایل اول و دوم را که در این گروهِ تغییر (Hunk) گنجانده شدهاند، تبیین میکند. در ادامه، خودِ سطرها به همراه سه سطر زمینه (Context Lines) که بهصورت پیشفرض در اطراف هر گروه تغییر نمایش داده میشوند (در صورت وجود)، آورده میشوند. هر سطر در این ساختار با یکی از سه نویسهی معرفیشده در جدول ۶-۲۰ آغاز میگردد:
جدول ۶-۲۰: شاخصهای وضعیت سطر در قالب Unified
| نویسه | مفهوم فنی |
|---|---|
(فاصله خالی) |
سطر مشترک: این سطر در هر دو فایل عیناً تکرار شده و نقش زمینه را دارد. |
- |
سطر حذفی: این سطر از فایل اول حذف شده است. |
+ |
سطر الحاقی: این سطر به فایل اول افزوده شده تا به محتوای فایل دوم تبدیل شود. |
در این ساختار، تمرکز اصلی بر نمایش فشردهی تغییرات است؛ بهطوری که تحلیلگر یا برنامهی پردازشگر بتواند بهسرعت تفاوتها را بدون نیاز به بازخوانیِ مکرر بخشهای مشترک شناسایی کند.
دستور patch #
برنامهی patch بهمنظور اعمال تغییرات روی فایلهای متنی طراحی شده است. این ابزار
خروجی حاصل از diff را بهعنوان ورودی دریافت کرده و معمولاً برای بهروزرسانی
نسخههای قدیمی فایلها به نسخههای جدیدتر بهکار میرود. یکی از برجستهترین نمونههای کاربرد
این ابزار، فرآیند توسعهی هستهی لینوکس (Linux Kernel) است. هستهی لینوکس توسط شبکهی
گستردهای از مشارکتکنندگان در سراسر جهان توسعه مییابد که بهطور مستمر اصلاحات و بهبودهای
کوچکی را روی کد منبع اعمال میکنند.
با توجه به حجم عظیم کد منبع هسته که بالغ بر میلیونها سطر است، ارسال کل ساختار درختی کد منبع
(Source Tree) برای هر تغییر جزئی، رویکردی غیرمنطقی و ناکارآمد است. در عوض، توسعهدهندگان یک
فایل diff ارسال میکنند که تنها شامل تفاوتهای نسخهی پیشین با نسخهی اصلاحشده
است. دریافتکننده سپس با استفاده از ابزار patch این تغییرات را بر ساختار درختی
کد منبع خود اعمال میکند. بهرهگیری از ترکیب diff/patch دو مزیت استراتژیک دارد:
- حجم فایل
diffدر مقایسه با کل درخت کد منبع بسیار ناچیز است. - فایل
diffتغییرات را بهصورت متمرکز و شفاف نمایش میدهد، که این امر فرآیند بازبینی کد (Code Review) را برای ناظران تسریع میکند.
اگرچه این ابزارها در دنیای برنامهنویسی به شهرت رسیدهاند، اما بر روی هر نوع فایل متنی، از
جمله فایلهای پیکربندی سیستم، قابل استفاده هستند. طبق مستندات پروژه GNU، استاندارد پیشنهادی
برای ایجاد یک فایل وصله جهت استفاده در patch به شرح زیر است:
diff -Naur old_file new_file > diff_file
در این دستور، آرگومانهای ورودی میتوانند فایلهای منفرد یا دایرکتوریها باشند. گزینهی
-r امکان پیمایش بازگشتی در ساختار دایرکتوریها را فراهم میکند. پس از تولید
فایل، میتوان با دستور زیر آن را روی فایل قدیمی اعمال کرد:
patch < diff_file
برای نمایش عملی این فرآیند، از فایلهای آزمایشی خود استفاده میکنیم:
[me@linuxbox ~]$ diff -Naur file1.txt file2.txt > patchfile.txt
[me@linuxbox ~]$ patch < patchfile.txt
patching file file1.txt
[me@linuxbox ~]$ cat file1.txt
b
c
d
e
در این مثال، ابتدا فایل patchfile.txt را ایجاد و سپس آن را اعمال کردیم. نکتهی
مهم اینجاست که در هنگام استفاده از patch نیازی به تعیین فایل هدف نیست؛ زیرا فایل
diff (در قالب Unified) نام فایلهای مربوطه را در بخش سرآیند (Header) خود شامل
میشود. همانطور که ملاحظه میکنید، پس از اتمام عملیات، محتوای file1.txt دقیقاً
با file2.txt یکسان شده است.
ابزار patch دارای گزینههای پیشرفتهی متعددی است و برنامههای کمکی مکمل دیگری نیز
برای تحلیل و ویرایش وصلهها وجود دارند.
ویرایش غیرتعاملی متن (Stream Editing) #
تجربهی ما در کار با ویرایشگرهای متن تا به اینجا عمدتاً بهصورت تعاملی (Interactive) بوده است؛ به این معنا که ویرایشگر را باز کرده، مکاننما (Cursor) را بهصورت دستی جابهجا کرده و تغییرات را تایپ نمودهایم. با این حال، در دنیای لینوکس و یونیکس، روشهای غیرتعاملی (Non-interactive) برای ویرایش متن جایگاه ویژهای دارند.
ویرایش غیرتعاملی زمانی اهمیت مییابد که بخواهیم مجموعهای از اصلاحات را بدون دخالت مستقیم کاربر و تنها با اجرای یک فرمان، بر روی یک یا چندین فایل بهصورت انبوه اعمال کنیم. این رویکرد زیربنای خودکارسازی (Automation) در مدیریت سیستم است.
دستور tr #
برنامهی tr جهت «نویسهگردانی» (Transliterate) یا تبدیل کاراکترها بهکار
میرود. این ابزار را میتوان بهنوعی عملیاتِ «جستوجو و جایگزینی بر پایهی نویسه» در نظر
گرفت. نویسهگردانی در واقع فرآیند نگاشت کاراکترها از یک مجموعه به مجموعهای دیگر است؛ برای
نمونه، تبدیل حروف کوچک به حروف بزرگ (Uppercase) مثالی کلاسیک از این فرآیند است که با استفاده
از tr به شیوهی زیر پیادهسازی میشود:
[me@linuxbox ~]$ echo "lowercase letters" | tr a-z A-Z
LOWERCASE LETTERS
همانطور که در مثال فوق مشهود است، tr منحصراً بر روی ورودی استاندارد (stdin)
عمل کرده و نتایج را در خروجی استاندارد (stdout) چاپ میکند. این برنامه دو آرگومان اصلی
میپذیرد: نخست، مجموعهای از کاراکترها که باید شناسایی شوند و دوم، مجموعهی متناظری که جایگزین
آنها خواهند شد. تعریف مجموعههای کاراکتری (Character Sets) معمولاً به یکی از روشهای زیر
انجام میپذیرد:
-
فهرست صریح: درج مستقیم و تکتک کاراکترها؛ برای مثال:
ABCDEFGHIJKLMNOPQRSTUVWXYZ -
بازه کاراکتری (Range): استفاده از ساختارهایی نظیر
A-Z. شایان ذکر است که این روش ممکن است تحت تأثیر تنظیمات محلی سیستم (Locale Collation Order) قرار گیرد، بنابراین در محیطهای حساس باید با دقت و احتیاط استفاده شود. -
کلاسهای نویسهای POSIX: روش سوم و استاندارد برای تعریف مجموعهها، استفاده از «کلاسهای
نویسهای» نظیر
[:upper:]یا[:lower:]است.
در اکثر عملیاتهای نگاشت، طول هر دو مجموعهی کاراکتر باید برابر باشد؛ با این حال، در شرایط خاصی ممکن است مجموعهی اول بزرگتر از دومی تعریف شود؛ بهویژه زمانی که قصد داریم چندین کاراکتر مختلف را به یک نویسهی واحد تبدیل کنیم:
[me@linuxbox ~]$ echo "lowercase letters" | tr [:lower:] A
AAAAAAAAA AAAAAAA
علاوه بر قابلیت تبدیل، ابزار tr توانایی حذف نویسههای خاص از جریان ورودی را نیز
داراست. پیشتر در این فصل، به چالش سازگاری فایلهای متنی سیستمعامل MS-DOS با محیط یونیکس
اشاره شد. برای تبدیل این فایلها به فرمت استاندارد یونیکس، ضروری است کاراکتر بازگشت به ابتدای
سطر (Carriage Return) از انتهای هر خط حذف گردد. این عملیات با استفاده از گزینه -d
(مخفف Delete) به سادگی امکانپذیر است:
tr -d '\r' < dos_file > unix_file
در این فرمان، dos_file به عنوان ورودی و unix_file به عنوان
خروجیِ اصلاحشده در نظر گرفته شده است. توالی گریز \r در اینجا نمایندهی نویسهی
بازگشت به ابتدای سطر (Carriage Return) است. برای دسترسی به فهرست کامل توالیهای گریز و
کلاسهای نویسهای پشتیبانیشده، میتوانید از دستور راهنما استفاده کنید:
[me@linuxbox ~]$ tr --help
الگوریتم ROT13: پنهانسازی متن #
یکی از کاربردهای تفننی و جالب ابزار tr پیادهسازی الگوریتم ROT13 است. ROT13 یک
روش رمزنگاری ابتدایی مبتنی بر «رمز جانشینی» (Substitution Cipher) است. در واقع، اطلاق عنوان
«رمزنگاری» به ROT13 چندان دقیق نیست و عبارت «پنهانسازی متن» (Text Obfuscation) توصیف
واقعبینانهتری از عملکرد آن ارائه میدهد. این روش که گاه برای مخفی کردن محتوای حساس یا پاسخ
معماها در تالارهای گفتگو به کار میرود، هر حرف انگلیسی را با سیزدهمین حرف پس از آن در الفبا
جایگزین میکند.
از آنجا که عدد ۱۳ دقیقاً نیمی از حروف الفبای ۲۶گانهی انگلیسی است، این الگوریتم خاصیت
«خود-معکوسی» دارد؛ یعنی اعمال مجدد آن بر روی متن رمزگذاری شده، محتوای اصلی را بازیابی میکند.
برای اجرای این فرآیند با استفاده از tr از دستور زیر استفاده میشود:
[me@linuxbox ~]$ echo "secret text" | tr a-zA-Z n-za-mN-ZA-M
frperg grkg
با اجرای مجدد همان دستور بر روی خروجی، متن به حالت اولیه بازمیگردد:
[me@linuxbox ~]$ echo "frperg grkg" | tr a-zA-Z n-za-mN-ZA-M
secret text
بسیاری از کلاینتهای قدیمی ایمیل و خبرخوانهای یوزنت (Usenet) بهصورت پیشفرض از این قابلیت پشتیبانی میکنند. برای مطالعهی جزئیات بیشتر فنی، مقالهی ویکیپدیا در این زمینه منبع ارزشمندی است:
http://en.wikipedia.org/wiki/ROT13
ابزار tr قابلیت کاربردی دیگری نیز دارد؛ با استفاده از گزینه -s
(مخفف Squeeze)، این برنامه میتواند تکرارهای متوالی یک نویسه را فشرده کرده و به یک نمونه
تقلیل دهد.
[me@linuxbox ~]$ echo "aaabbbccc" | tr -s ab
abccc
در این مثال، مجموعهای از نویسههای تکراری به tr داده شده است. با تعیین مجموعهی
هدف (در اینجا "ab")، تکرارهای متوالی این حروف حذف شده و تنها یک نسخه از هر کدام
باقی میماند، در حالی که نویسهی "c" که در مجموعهی هدف نبود، بدون تغییر باقی
مانده است. توجه داشته باشید که عملیات فشردهسازی تنها زمانی عمل میکند که نویسههای تکراری
بهصورت مجاور و پشتسرهم باشند. در غیر این صورت، دستور تاثیری بر متن نخواهد داشت:
[me@linuxbox ~]$ echo "abcabcabc" | tr -s ab
abcabcabc
ویرایشگر جریانی sed #
نام sed از عبارت Stream Editor مشتق شده است. این ابزار قدرتمند عملیات ویرایش را
مستقیماً بر روی یک جریان متنی (Stream) انجام میدهد که این جریان میتواند شامل مجموعهای از
فایلهای مشخص یا دادههای دریافتی از ورودی استاندارد (stdin) باشد. sed ابزاری
بسیار منعطف و در عین حال پیچیده است (بهطوری که منابع و کتابهای جامعی منحصراً در تبیین
قابلیتهای آن نگاشته شده است)؛ از این رو در این بخش، تنها به بررسی اصول زیربنایی آن بسنده
میکنیم.
بهطور کلی، نحوهی عملکرد sed بدین صورت است که یا یک دستور ویرایشی واحد را
مستقیماً از خط فرمان دریافت میکند و یا آدرس یک «اسکریپت» حاوی مجموعهای از دستورات به آن
ارجاع داده میشود. سپس sed این فرامین را بهصورت سطر به سطر بر روی تمامی دادههای
جریان متنی اعمال میکند.
در ادامه، نمونهای ساده از عملکرد این ابزار ارائه شده است:
[me@linuxbox ~]$ echo "front" | sed 's/front/back/'
back
در این مثال، ابتدا با استفاده از دستور echo یک جریان متنی تککلمهای ایجاد و آن
را به سوی sed هدایت (Pipe) کردهایم. سپس sed دستور
s/front/back/ را بر روی متن ورودی اجرا کرده و خروجی back را تولید
میکند. این دستور کاملاً مشابه فرمان جایگزینی (Substitution) در ویرایشگر vi عمل میکند.
فرامین در sed معمولاً با یک تکنویسه آغاز میشوند. در مثال پیشین، دستور جایگزینی
با نویسهی s مشخص شده است که متعاقب آن، رشتههای «جستوجو» و «جایگزین» قرار
میگیرند. این رشتهها بهطور سنتی با استفاده از نویسهی اسلش (/) از یکدیگر تفکیک
میشوند. با این حال، انتخاب جداکننده (Delimiter) کاملاً اختیاری است؛ sed نخستین
نویسهای را که بلافاصله پس از نام فرمان ظاهر شود، به عنوان جداکننده در نظر میگیرد. بر همین
اساس، میتوان فرمان قبلی را به شکل زیر نیز بازنویسی کرد:
[me@linuxbox ~]$ echo "front" | sed 's_front_back_'
back
در این نمونه، با قرار دادن نویسهی زیرخط (_) بلافاصله پس از فرمان، این نویسه نقش
جداکننده را ایفا میکند. این انعطافپذیری در انتخاب جداکننده، بهویژه هنگام کار با مسیرهای فایل
که حاوی تعداد زیادی اسلش هستند، به خوانایی و وضوح دستورات کمک شایانی میکند.
بسیاری از فرامین sed قابلیت پذیرش یک «نشانی» (Address) را دارند. نشانی تعیین
میکند که فرمان ویرایشی دقیقاً بر روی کدام سطر یا سطرها از جریان متنی اعمال شود. در صورت عدم
تعیین نشانی، فرمان بهصورت پیشفرض بر تمامی سطرهای جریان اعمال میگردد. سادهترین فرم
نشانیدهی، استفاده از شمارهی سطر است. برای درک بهتر، یک نشانی به مثال قبلی اضافه میکنیم:
[me@linuxbox ~]$ echo "front" | sed '1s/front/back/'
back
در اینجا، افزودن عدد 1 به ابتدای فرمان، صراحتاً بیان میکند که عملیات جایگزینی
تنها باید بر روی سطر نخست اعمال شود. چنانچه نشانی را به عدد دیگری، مثلاً 2 تغییر دهیم، شاهد
خواهیم بود که هیچ تغییری در خروجی رخ نمیدهد؛ چرا که ورودی ما در این مثال تنها شامل یک سطر
است:
[me@linuxbox ~]$ echo "front" | sed '2s/front/back/'
front
نحوه تعیین نشانی در sed از تنوع بالایی برخوردار است که امکان کنترل دقیق بر فرآیند
ویرایش را فراهم میکند. جدول ۷-۲۰ متداولترین روشهای نشانیدهی (Addressing) را تشریح میکند:
جدول ۷-۲۰: روشهای نشانیدهی در sed
| نشانی | شرح عملکرد فنی |
|---|---|
n |
ارجاع به یک سطر مشخص بر اساس شمارهی آن، که در آن n یک عدد صحیح مثبت است؛ برای نمونه، 3 به سطر سوم فایل اشاره دارد. |
$ |
ارجاع به آخرین سطر از جریان متنی (Input Stream) ورودی. |
/regexp/ |
تطبیق با تمامی سطرهایی که با یک «عبارت باقاعده» (Regular Expression) مطابقت دارند. عبارت باقاعده بهصورت پیشفرض میان دو نویسهی اسلش ( /) قرار میگیرد. همچنین میتوان با استفاده از ساختار \cregexpc از یک نویسهی جداکنندهی دلخواه بهجای اسلش بهره برد (که در آن c نویسهی جداکنندهی جایگزین است)؛ این قابلیت بهویژه هنگام جستوجوی الگوهایی که خود حاوی نویسهی اسلش هستند، مفید است. |
addr1,addr2 |
تعیین یک بازه (Range) از سطرها، از addr1 تا addr2، شامل هر دو سطرِ ابتدا و انتها. هر یک از این دو نشانی میتواند بهصورت شمارهی سطر، عبارت باقاعده، یا نماد $ بیان شود. |
first~step |
تطبیق با سطر شمارهی first و سپس تکرار الگو با گام step (این ساختار یکی از قابلیتهای افزودهی GNU sed است). برای نمونه، 1~2 تمامی سطرهای فرد را هدف قرار میدهد، در حالی که 5~5 سطر پنجم و کلیهی مضارب آن (سطرهای ۵، ۱۰، ۱۵ و به همین ترتیب) را انتخاب میکند. |
addr1,+n |
تطبیق با سطر addr1 و n سطر بلافاصله پس از آن؛ به بیان دیگر، مجموعاً n+1 سطر را دربرمیگیرد. |
addr! |
نقیض نشانی (Negation)؛ به معنای اعمال دستور بر تمامی سطرهای فایل، بهجز آن سطر یا سطرهایی که در addr مشخص شدهاند. |
این قابلیتهای نشانیدهی، sed را به ابزاری بیبدیل برای پردازشهای دستهای تبدیل
میکند؛ چرا که اجازه میدهد عملیات ویرایش تنها بر بخشهای ساختاریافتهی فایل اعمال شود، بدون
آنکه نیازی به پیمایش دستی متن باشد.
در ادامه، نحوهی بهکارگیری نشانیها در سناریوهای مختلف را بررسی میکنیم. ابتدا، تعیین یک بازهی مشخص از شمارهی سطرها را در نظر بگیرید:
[me@linuxbox ~]$ sed -n '1,5p' distros.txt
SUSE 10.2 12/07/2006
Fedora 10 11/25/2008
SUSE 11.0 06/19/2008
Ubuntu 8.04 04/24/2008
Fedora 8 11/08/2007
در این مثال، سطرهای ۱ تا ۵ فایل چاپ شدهاند. برای دستیابی به این نتیجه، از دستور p
(مخفف Print) جهت چاپ سطرهای منطبق بر نشانی استفاده کردیم. نکتهی کلیدی در اینجا استفاده از
گزینه -n (حالت Suppress یا عدم چاپ خودکار) است؛ این گزینه مانع از آن میشود که
sed طبق رفتار پیشفرض خود، تمامی سطرهای ورودی را در خروجی تکرار کند.
سپس، نشانیدهی بر پایهی «عبارت باقاعده» (Regular Expression) را بررسی میکنیم:
[me@linuxbox ~]$ sed -n '/SUSE/p' distros.txt
SUSE 10.2 12/07/2006
SUSE 11.0 06/19/2008
SUSE 10.3 10/04/2007
SUSE 10.1 05/11/2006
با محصور کردن الگوی /SUSE/ میان دو اسلش، توانستیم تنها سطرهایی را که حاوی این
عبارت هستند استخراج کنیم؛ عملکردی که شباهت بسیاری به ابزار grep دارد.
در نهایت، با استفاده از علامت تعجب (!)، عملیات «نقیضسازی» یا منفیسازی نشانی (Address Inversion) را اعمال میکنیم:
[me@linuxbox ~]$ sed -n '/SUSE/!p' distros.txt
Fedora 10 11/25/2008
Ubuntu 8.04 04/24/2008
Fedora 8 11/08/2007
Ubuntu 6.10 10/26/2006
Fedora 7 05/31/2007
Ubuntu 7.10 10/18/2007
Ubuntu 7.04 04/19/2007
Fedora 6 10/24/2006
Fedora 9 05/13/2008
Ubuntu 6.06 06/01/2006
Ubuntu 8.10 10/30/2008
Fedora 5 03/20/2006
خروجی فوق دقیقاً همان چیزی است که انتظار میرفت: تمامی سطرهای فایل نمایش داده شدهاند، بهاستثنای مواردی که با عبارت باقاعده مشخصشده مطابقت داشتند.
تا کنون با دو فرمان محوری s و p در sed آشنا شدهایم.
جدول ۸-۲۰ مجموعهای جامعتر از دستورات ویرایشی پایه در این ابزار را معرفی میکند:
جدول ۸-۲۰: دستورات ویرایشی پایه در sed
| دستور | شرح عملکرد فنی |
|---|---|
= |
چاپ شمارهی سطر جاری در خروجی استاندارد، پیش از چاپ خودِ محتوای آن سطر. |
a |
الحاق (Append) یک متن مشخص، بلافاصله پس از سطر جاری، به جریان خروجی. |
d |
حذف (Delete) سطر جاری از جریان خروجی؛ سطر حذفشده در نتیجهی نهایی نمایش داده نمیشود. |
i |
درج (Insert) یک متن مشخص، بلافاصله پیش از سطر جاری، در جریان خروجی. |
p |
چاپ (Print) سطر جاری. از آنجا که sed بهطور پیشفرض تمامی سطرها را در خروجی چاپ میکند، این دستور معمولاً همراه با گزینه -n (غیرفعالسازی چاپ خودکار) بهکار میرود تا کنترل دقیقی بر خروجی نهایی اعمال شود. |
q |
خروج (Quit) از برنامه و توقف پردازش سطرهای باقیمانده. در صورتی که گزینه -n فعال نباشد، سطر جاری پیش از خروج چاپ میشود. |
Q |
خروج فوری از برنامه، بدون پردازش سطرهای باقیمانده و بدون چاپ سطر جاری، حتی در حالت پیشفرض. |
s/regexp/replacement/ |
جایگزینی (Substitute) بخشی از متن هر سطر که با الگوی regexp مطابقت دارد، با متنِ replacement. در بخش replacement میتوان از نویسهی ویژهی & برای ارجاع به کل متن تطبیقیافته استفاده کرد، و همچنین از ارجاعهای بازگشتی (Backreferences) مانند \1 تا \9 برای فراخوانی محتوای گروههای مشخصشده در عبارت باقاعده بهره برد. افزودن پرچمهایی (Flags) در انتهای دستور، مانند g برای جایگزینی سراسری در کل سطر، رفتار پیشفرض این دستور را تغییر میدهد. |
y/set1/set2 |
نویسهگردانی (Transliterate)، یعنی تبدیل یکبهیکِ هر نویسه در مجموعهی set1 به نویسهی متناظر آن در مجموعهی set2. برخلاف ابزار tr، در این دستور الزامی است که طول دو مجموعهی set1 و set2 دقیقاً یکسان باشد. |
بدون شک دستور s (جایگزینی) پرکاربردترین فرمان ویرایشی در sed محسوب
میشود. برای نمایش قدرت این ابزار، تغییری را بر روی فایل distros.txt اعمال
میکنیم. همانطور که پیشتر اشاره شد، قالب تاریخ در این فایل بهصورت MM/DD/YYYY
درج شده که برای پردازشهای سیستمی و عملیات مرتبسازی مناسب نیست؛ چرا که برای مرتبسازی بهینه،
قالب استاندارد YYYY-MM-DD ترجیح داده میشود. اصلاح دستی این موارد نهتنها
زمانبر، بلکه مستعد خطای انسانی است، اما با sed میتوان این تغییر را تنها در یک
گام عملیاتی کرد:
[me@linuxbox ~]$ sed 's/\([0-9]\{2\}\)\/\([0-9]\{2\}\)\/\([0-9]\{4\}\)$/\3-\1-\2/' distros.txt
SUSE 10.2 2006-12-07
Fedora 10 2008-11-25
SUSE 11.0 2008-06-19
Ubuntu 8.04 2008-04-24
Fedora 8 2007-11-08
SUSE 10.3 2007-10-04
Ubuntu 6.10 2006-10-26
Fedora 7 2007-05-31
Ubuntu 7.10 2007-10-18
Ubuntu 7.04 2007-04-19
SUSE 10.1 2006-05-11
Fedora 6 2006-10-24
Fedora 9 2008-05-13
Ubuntu 6.06 2006-06-01
Ubuntu 8.10 2008-10-30
Fedora 5 2006-03-20
ظاهر این دستور ممکن است در ابتدا غریب و پیچیده به نظر برسد، اما عملکرد آن دقیق است. این مثال بهخوبی نشان میدهد که چرا برخی به شوخی عبارات باقاعده (Regular Expressions) را «فقطنوشتنی» مینامند؛ به این معنا که نوشتن آنها سادهتر از بازخوانی و درک مجدد آنهاست. پیش از آنکه از پیچیدگی این دستور دلسرد شوید، بیایید اجزای آن را کالبدشکافی کنیم. ساختار بنیادی این فرمان به شرح زیر است:
sed 's/regexp/replacement/' distros.txt
گام نخست، طراحی یک عبارت باقاعده برای شناسایی و تفکیک اجزای تاریخ است. با توجه به اینکه تاریخ
در انتهای سطر و به فرمت MM/DD/YYYY قرار دارد، میتوانیم از الگویی مشابه زیر
استفاده کنیم:
[0-9]{2}/[0-9]{2}/[0-9]{4}$
الگوی فوق بهطور دقیق دو رقم، یک اسلش، دو رقم، اسلشی دیگر، چهار رقم و در نهایت انتهای سطر را
شناسایی و تطبیق میدهد. با مشخص شدن بخش regexp (الگو)، نوبت به طراحی بخش replacement
(جایگزین) میرسد. برای این کار، باید از قابلیتی در عبارات باقاعده موسوم به ارجاعهای بازگشتی
(Backreferences) استفاده کنیم. این ویژگی که در ابزارهای مبتنی بر BRE در دسترس است، به این
صورت عمل میکند: چنانچه توالی \n (که در آن n عددی بین 1 تا 9 است) در بخش
جایگزین ظاهر شود، به زیرعبارت (Sub-expression) متناظر در بخش الگو ارجاع میدهد. برای ایجاد
این زیرعبارات، کافی است بخشهای مورد نظر را درون پرانتز قرار دهیم:
([0-9]{2})/([0-9]{2})/([0-9]{4})$
اکنون سه زیرعبارت مجزا داریم: اولی ماه، دومی روز و سومی سال را در خود جای داده است. با این
ساختار، میتوانیم بخش replacement را به شکل زیر تدوین کنیم:
\3-\1-\2
این ترکیب، ترتیب قرارگیری را به «روز-ماه-سال» تغییر میدهد. با این حال، دستور نهایی ما به شکل زیر با دو چالش فنی روبروست:
sed 's/([0-9]{2})/([0-9]{2})/([0-9]{4})$/\3-\1-\2/' distros.txt
چالش اول، وجود اسلشها (/) در درون تاریخ است که باعث تداخل با جداکنندههای دستور
s شده و sed را در تشخیص مرزهای دستور دچار سردرگمی میکند. چالش دوم
این است که sed بهصورت پیشفرض از نحو BRE (Basic Regular Expressions) پیروی
میکند؛ در این استاندارد، پرانتزها و آکولادها بدون نویسهی گریز، صرفاً به عنوان کاراکترهای
عادی در نظر گرفته میشوند و نقش متاکاراکتر (Metacharacter) ایفا نمیکنند.
برای رفع این دو مشکل، از نویسهی بکاسلش (\) جهت گریزدهی (Escaping) نویسههای
خاص استفاده میکنیم تا معنای فنی آنها برای مفسر روشن شود:
sed 's/\([0-9]\{2\}\)\/\([0-9]\{2\}\)\/\([0-9]\{4\}\)$/\3-\1-\2/' distros.txt
و بدین ترتیب، عملیات اصلاح ساختار تاریخ با موفقیت به پایان میرسد.
قابلیت دیگر دستور s بهرهگیری از پرچمهای اختیاری (Flags) در انتهای رشتهی
جایگزین است. محوریترینِ این پرچمها، g (مخفف Global) است که به sed
فرمان میدهد عملیات جایگزینی را بهصورت سراسری در کل سطر انجام دهد؛ در حالی که رفتار پیشفرض
ابزار، تنها اعمال تغییر بر روی نخستین موردِ انطباق یافته است.
به مثال زیر توجه کنید:
[me@linuxbox ~]$ echo "aaabbbccc" | sed 's/b/B/'
aaaBbbccc
مشاهده میشود که جایگزینی صرفاً برای اولین کاراکتر b رخ داده و سایر موارد بدون
تغییر ماندهاند. با الحاق پرچم g به انتهای دستور، میتوان تمامی موارد منطبق را
تغییر داد:
[me@linuxbox ~]$ echo "aaabbbccc" | sed 's/b/B/g'
aaaBBBccc
تا به اینجا، تنها از دستورات تکخطی در رابط خط فرمان استفاده کردهایم. با این حال، میتوان
مجموعهای از دستورات پیچیده را در قالب یک اسکریپت (Script File) سازماندهی و با استفاده از
گزینه -f اجرا نمود. برای نمایش این قابلیت، گزارشی از فایل distros.txt
تهیه میکنیم که شامل یک عنوان در ابتدا، اصلاح فرمت تاریخها و تبدیل نام توزیعها به حروف بزرگ
(Uppercase) باشد. برای این منظور، یک فایل متنی ایجاد کرده و دستورات زیر را در آن درج میکنیم:
# sed script to produce Linux distributions report
1 i\
\
Linux Distributions Report\
s/\([0-9]\{2\}\)\/\([0-9]\{2\}\)\/\([0-9]\{4\}\)$/\3-\1-\2/
y/abcdefghijklmnopqrstuvwxyz/ABCDEFGHIJKLMNOPQRSTUVWXYZ/
در این اسکریپت، از دستور i جهت درج عنوان در سطر نخست، از فرمان s
برای بازآرایی ساختار تاریخ و از دستور y برای نویسهگردانی حروف کوچک به بزرگ
استفاده شده است.
پس از ذخیرهسازی اسکریپت با نام distros.sed (با پسوند متداول فایلهای اسکریپت
sed)، آن را به شکل زیر بر روی فایل هدف اجرا میکنیم:
[me@linuxbox ~]$ sed -f distros.sed distros.txt
Linux Distributions Report
SUSE 10.2 2006-12-07
FEDORA 10 2008-11-25
SUSE 11.0 2008-06-19
UBUNTU 8.04 2008-04-24
FEDORA 8 2007-11-08
SUSE 10.3 2007-10-04
UBUNTU 6.10 2006-10-26
FEDORA 7 2007-05-31
UBUNTU 7.10 2007-10-18
UBUNTU 7.04 2007-04-19
SUSE 10.1 2006-05-11
FEDORA 6 2006-10-24
FEDORA 9 2008-05-13
UBUNTU 6.06 2006-06-01
UBUNTU 8.10 2008-10-30
FEDORA 5 2006-03-20
همانطور که مشاهده میشود، اسکریپت خروجی مطلوب را تولید کرده است؛ اما مکانیسم عملکرد آن
چگونه است؟ برای درک بهتر لایههای اجرایی، محتوای اسکریپت را با استفاده از دستور
cat و گزینه شمارهگذاری سطرها بازخوانی میکنیم:
[me@linuxbox ~]$ cat -n distros.sed
1 # sed script to produce Linux distributions report
2
3 1 i\
4 \
5 Linux Distributions Report\
6
7 s/\([0-9]\{2\}\)\/\([0-9]\{2\}\)\/\([0-9]\{4\}\)$/\3-\1-\2/
8 y/abcdefghijklmnopqrstuvwxyz/ABCDEFGHIJKLMNOPQRSTUVWXYZ/
سطر نخست اسکریپت ما یک «توضیح» (Comment) است. مشابه بسیاری از فایلهای پیکربندی و زبانهای
برنامهنویسی در محیط لینوکس، توضیحات با کاراکتر # آغاز میشوند و متنی خوانا برای
انسان را در بر میگیرند. توضیحات میتوانند در هر بخشی از اسکریپت (بهجز در میانهی یک دستور)
قرار گیرند و برای مستندسازی و نگهداری کد در آینده اهمیت بسزایی دارند.
سطر دوم یک سطر خالی است. سطرهای خالی، همانند توضیحات، صرفاً جهت تفکیک منطقی بخشهای مختلف و افزایش خوانایی اسکریپت به کار میروند و هیچ تأثیری بر عملکرد آن ندارند.
بسیاری از دستورات sed قابلیت پذیرش «نشانی» (Address) را دارند. این نشانیها تعیین
میکنند که عملیات ویرایشی دقیقاً بر روی کدام بخش از ورودی اعمال شود. نشانی میتواند یک شماره
سطر واحد، بازهای از سطرها، یا نویسهی ویژهی $ باشد که به آخرین سطر جریان ورودی
اشاره دارد.
سطر ۳ اسکریپت، دستور i را با نشانی 1 (یعنی نخستین سطر ورودی)
فراخوانی میکند؛ به این ترتیب، متنی که در ادامه میآید، پیش از نخستین سطر ورودی درج (Insert)
خواهد شد. این دستور از دنبالهای متشکل از بکاسلش (\) و بهدنبال آن یک نویسهی
خطجدید (Newline) استفاده میکند تا یک «ادامه خط» (Line Continuation) ایجاد کند. این مکانیزم،
که در اسکریپتنویسی پوسته نیز رایج است، اجازه میدهد نویسهی خطجدید در دل متن تعبیه شود،
بدون آنکه مفسر (در اینجا sed) آن را به معنای پایان دستور تلقی کند. دستورات
i (درج)، a (الحاق) و c (جایگزینی سطر) امکان افزودن
چندین سطر متن را فراهم میکنند؛ به این شرط که تمامی سطرها، بهجز سطر پایانی، با نویسهی
ادامهخط (\) خاتمه یابند. بر همین اساس، متن درجشده در سطرهای ۴ تا ۶ اسکریپت ما
قرار دارد: سطر ۴ صرفا از یک نویسهی بکاسلش تشکیل شده که با ایفای نقش ادامهخط، یک سطر خالی به
متنِ درجشده میافزاید؛ سطر ۵ عبارت «Linux Distributions Report» را در بر دارد؛ و سطر ۶، به
دستور i خاتمه میدهد.
سطر ۷ حاوی دستور جستوجو و جایگزینی (s) است. از آنجا که هیچ نشانیِ مشخصی برای
این دستور تعیین نشده، تمامی سطرهای جریان ورودی مشمول این عملیات میشوند.
سطر ۸ عملیات نویسهگردانی، یعنی تبدیل حروف کوچک به بزرگ، را بر عهده دارد. شایان ذکر است که
برخلاف ابزار tr، دستور y در sed از بازههای نویسهای
(نظیر [a-z]) یا کلاسهای نویسهای POSIX پشتیبانی نمیکند و باید تمامی نویسهها
بهصورت صریح و یکبهیک ذکر شوند. همچنین، به دلیل عدم تعیین نشانی برای این دستور نیز، عملیات
نویسهگردانی بر تمامی سطرهای جریان ورودی اعمال میگردد.
علاقهمندان به ابزار sed معمولاً به ابزارهای زیر نیز تمایل نشان میدهند #
sed ابزاری بسیار توانمند است و قابلیت اجرای ویرایشهای نسبتاً پیچیده بر روی
جریانهای متنی را دارد. با این حال، کاربرد غالب آن بیشتر در قالب دستورات تکخطی (One-liners)
است تا نگارش اسکریپتهای حجیم و پیچیده. برای پروژههای بزرگتر و پردازشهای سنگینتر، بسیاری
از کاربران ترجیح میدهند به سراغ زبانهای برنامهنویسیِ کاملتری بروند که در میان آنها، awk و
Perl از محبوبیت بیشتری برخوردارند. این دو، برخلاف sed که صرفاً یک ابزار پردازش
جریان متنی (Stream Editor) است، زبانهای برنامهنویسی مستقلی به شمار میروند که امکانات
بهمراتب گستردهتری، از جمله متغیرها، ساختارهای کنترلی و توابع، در اختیار کاربر قرار میدهند.
زبان Perl بهطور گستردهای بهعنوان جایگزینی برای اسکریپتنویسی پوسته در وظایف مدیریت سیستم، و
همچنین در حوزهی توسعهی وب، مورد استفاده قرار میگیرد. در مقابل، awk که خود نیز یک زبان
برنامهنویسیِ مستقل محسوب میشود، کاربردی تخصصیتر دارد و قدرت اصلیاش در پردازش و تحلیل
دادههای جدولی (Tabular Data) نهفته است. awk از جهاتی به sed شباهت دارد؛ از جمله
اینکه فایلها را سطر به سطر پردازش میکند و از ساختاری مشابه با الگوی «نشانی و سپس عملیات»
(Address-Action) بهره میبرد.
اگرچه بررسی تخصصیِ awk و Perl در چارچوب مباحث این کتاب نمیگنجد، اما تسلط بر آنها برای کاربران حرفهای خط فرمان لینوکس، مهارتی بسیار ارزشمند و راهبردی محسوب میشود.
بررسیگر املایی aspell #
آخرین ابزاری که بررسی خواهیم کرد، aspell است؛ یک غلطیاب املایی تعاملی
(Interactive Spell Checker) که به عنوان جانشین مدرن برنامهی قدیمیترِ ispell
توسعه یافته است و در اکثر موارد میتواند به عنوان جایگزینی مستقیم برای آن عمل کند. هرچند
aspell عمدتاً به عنوان موتور زیرساختی در سایر نرمافزارها برای افزودن قابلیت
غلطیابی املایی به کار میرود، اما به عنوان یک ابزار مستقل در خط فرمان نیز بسیار کارآمد است.
این برنامه از هوشمندی بالایی برخوردار است و میتواند انواع مختلفی از اسناد فنی از جمله
فایلهای HTML، کدهای منبع C و ++C، پیامهای ایمیل و سایر متون تخصصی را بهدقت تحلیل کند.
جهت بررسی املایی یک فایل متنی ساده، دستور زیر به کار میرود:
aspell check textfile
در این دستور، textfile نشاندهنده نام فایلی است که قصد بازبینی و اصلاح آن را
دارید. پس از اجرای این فرمان، aspell محیطی تعاملی را میگشاید که در آن کلمات
مشکوک برجسته شده و پیشنهادهای اصلاحی ارائه میگردد.
به عنوان یک مثال عملی، فایلی متنی به نام foo.txt ایجاد میکنیم که حاوی چند خطای
املایی عمدی باشد:
[me@linuxbox ~]$ cat > foo.txt
The quick brown fox jimps over the laxy dog.
سپس فرایند عیبیابی را با استفاده از aspell آغاز میکنیم:
[me@linuxbox ~]$ aspell check foo.txt
از آنجا که aspell در حالت تعاملی (Interactive Mode) اجرا میشود، رابط کاربری مشابه زیر نمایان خواهد شد:
The quick brown fox jimps over the laxy dog.
------------------------------------------
1) jumps 6) limps
2) imps 7) pimps
3) gimps 8) wimps
4) jump's 9) comps
5) Jim's 0) gimp's
i) Ignore I) Ignore all
r) Replace R) Replace all
a) Add l) Add Lower
b) Abort x) Exit
------------------------------------------
?
در بخش فوقانی این رابط، متن فایل نمایش داده شده و واژهی مشکوک به خطای املایی بهصورت برجسته (Highlight) مشخص میگردد. در بخش میانی، ده واژهی پیشنهادی با شمارههای 0 تا 9 به همراه فهرستی از عملیاتهای ممکن ارائه شده است. در نهایت، در پایینترین قسمت سطر، محیط اعلان (Prompt) منتظر انتخاب و ورودی کاربر باقی میماند.
با انتخاب کلید 1، ابزار aspell واژهی نادرست را با «jumps» جایگزین
نموده و بهطور خودکار به سراغ خطای بعدی، یعنی «laxy» میرود. در صورت انتخاب گزینهی «lazy»،
فرآیند اصلاح تکمیل شده و برنامه خاتمه مییابد. پس از پایان عملیات، با بازخوانی فایل میتوان
مشاهده کرد که اصلاحات با موفقیت اعمال شدهاند:
[me@linuxbox ~]$ cat foo.txt
The quick brown fox jumps over the lazy dog.
شایان ذکر است که aspell بهصورت پیشفرض یک نسخهی پشتیبان (Backup) از فایل اصلی
با پسوند .bak ایجاد میکند، مگر آنکه با استفاده از گزینه
--dont-backup از این کار جلوگیری شود.
برای بررسی توانمندیهای ویرایشی sed و بازگرداندن فایل به حالت اولیه جهت آزمایشهای
بعدی، از دستور زیر استفاده میکنیم:
[me@linuxbox ~]$ sed -i 's/lazy/laxy/; s/jumps/jimps/' foo.txt
در این دستور، گزینهی -i (مخفف In-place) به sed فرمان میدهد که
تغییرات را مستقیماً بر روی فایل اصلی بازنویسی کند، بهجای آنکه خروجی را تنها در ترمینال نمایش
دهد. همچنین ملاحظه میکنید که میتوان چندین فرمان ویرایشی را با استفاده از سمیکالن
(;) در یک خط ترکیب کرد.
در ادامه، چگونگی مدیریت قالبهای مختلف متنی توسط aspell را بررسی میکنیم. با
استفاده از یک ویرایشگر متن (نظیر vim) یا ابزار sed مورد بحث،
نشانهگذاریهای HTML را به فایل خود اضافه میکنیم:
<html>
<head>
<title>Mispelled HTML file</title>
</head>
<body>
<p>The quick brown fox jimps over the laxy dog.</p>
</body>
</html>
چنانچه بخواهیم فایل اصلاحشده را در حالت عادی بررسی کنیم، با یک چالش فنی مواجه میشویم. اجرای دستور به صورت پیشفرض:
[me@linuxbox ~]$ aspell check foo.txt
منجر به نمایش خروجی زیر میگردد:
<html>
<head>
<title>Mispelled HTML file</title>
</head>
<body>
<p>The quick brown fox jimps over the laxy dog.</p>
</body>
</html>
-------------------------------------
1) HTML 4) Hamel
2) ht ml 5) Hamil
3) ht-ml 6) hotel
i) Ignore I) Ignore all
r) Replace R) Replace all
a) Add l) Add Lower
b) Abort x) Exit
-------------------------------------
?
در این وضعیت، aspell برچسبهای (Tags) ساختاری HTML را به عنوان واژگان متنی تلقی
کرده و آنها را اشتباه تشخیص میدهد. برای رفع این تداخل، باید از گزینه -H
(مخفف HTML) استفاده کرد تا حالت بررسی هوشمند اسناد وب فعال شود:
[me@linuxbox ~]$ aspell -H check foo.txt
خروجی در این حالت به شکل زیر تغییر مییابد:
<html>
<head>
<title>Mispelled HTML file</title>
</head>
<body>
<p>The quick brown fox jimps over the laxy dog.</p>
</body>
---------------------------------------
</html>
1) Mi spelled 6) Misapplied
2) Mi-spelled 7) Miscalled
3) Misspelled 8) Respelled
4) Dispelled 9) Misspell
5) Spelled 0) Misled
i) Ignore I) Ignore all
r) Replace R) Replace all
a) Add l) Add Lower
b) Abort x) Exit
---------------------------------------
?
در این پیکربندی، aspell از نشانهگذاریهای HTML صرفنظر کرده و تمرکز خود را تنها
بر محتوای متنیِ سند معطوف میکند. شایان ذکر است که این ابزار به قدری هوشمند عمل میکند که
مفادِ ویژگیهایی نظیر ALT را (که حاوی متن توصیفی هستند) بررسی کرده، اما از
تگهای ساختاری عبور میکند.
aspell بهصورت پیشفرض از بررسی آدرسهای اینترنتی (URLs) و نشانیهای ایمیل
خودداری میکند. این رفتار عملیاتی از طریق گزینههای خط فرمان قابل سفارشیسازی است؛ همچنین
کاربر میتواند تگهای خاصی را برای بررسی یا نادیده گرفتن استثنا کند. جهت مطالعهی جزئیات
دقیقتر، میتوانید به صفحهی راهنمای سیستمی (man aspell) مراجعه کنید.
جمعبندی #
در این فصل، به واکاوی مجموعهای از ابزارهای خط فرمان پرداختیم که بهطور اختصاصی برای پردازش و دستکاری متون طراحی شدهاند. در فصل آتی، ابزارهای تکمیلی دیگری را نیز در این حوزه معرفی خواهیم کرد. اگرچه ممکن است در نگاه نخست، ضرورت یا نحوهی بهکارگیری روزمرهی برخی از این ابزارها چندان ملموس به نظر نرسد، اما تلاش کردیم با ارائهی نمونههای عملی، بخشی از توانمندیهای آنها را در سناریوهای واقعی به تصویر بکشیم.
در فصول پیشرو خواهیم دید که این فرامین، ارکان اصلی یک «جعبهابزار» تخصصی را تشکیل میدهند که برای حل طیف گستردهای از چالشهای عملیاتی در لینوکس بهکار میروند. اهمیت و ارزش راهبردی این ابزارها بهویژه هنگام ورود به مبحث اسکریپتنویسی پوسته (Shell Scripting) بیش از پیش نمایان خواهد شد؛ جایی که ترکیب این دستورات ساده، امکان اتوماسیون فرآیندهای پیچیده و مدیریت بهینهی سیستم را فراهم میسازد.
منابع مطالعه تکمیلی #
وبسایت پروژه گنو (GNU) میزبان مستندات آنلاین جامع و مرجعی برای ابزارهای بررسیشده در این فصل است:
از بسته Coreutils:
- Output of Entire Files — GNU Coreutils
- Operating on Sorted Files — GNU Coreutils
- Operating on Fields — GNU Coreutils
- Operating on Characters — GNU Coreutils
از بسته Diffutils:
ابزار sed:
ابزار Aspell:
منابع آنلاین متعدد دیگری نیز به طور خاص برای sed وجود دارد:
علاوه بر این، جستجوی عباراتی نظیر «sed one liners» و «sed cheat sheets» در موتورهای جستجو، الگوهای عملیاتی بسیار ارزشمندی را در اختیار شما قرار میدهد.
تمرینهای تکمیلی #
چند ابزار کلیدی دیگر در حوزهی پردازش متن وجود دارند که بررسی آنها برای تسلط بیشتر توصیه میشود:
split: تقسیم یک فایل حجیم به قطعات کوچکتر بر اساس تعداد سطور یا حجم فایل.csplit: تفکیک فایل به بخشهای مختلف بر اساس الگوهای محتوایی (Context).sdiff: مقایسهی دو فایل و نمایش تفاوتها بهصورت ستونهای کنار هم جهت ادغام بصری و دقیقتر.