نظریۂ اطلاعات
اصطلاح | term |
---|---|
معطیات |
data |
نظریۂ اطلاعات (information theory) شاخ اے اطلاقی ریاضیات تے برقی ہندسیہ کی، جو اطلاعات دے مقداری تعین توں متعلق اے۔ تاریخی طور پر، نظریہ اطلاعات نوں کلاڈ شانن نے ترقیا، معطیات نوں ابلاغنے تے متعبر تخزین دے لئی دابنے دی بنیادی حدود جاننے دے لئی۔ اپنے آغاز توں، اس دا دائرہ دوسرے علاقےآں وچ وسیع ہو گیا اے، جس وچ شامل نيں احصائی اِستنتاج، قدرتی بولی عملیات، اخفیاشفی تے جامعاً، ابلاغی نیٹ ورکاں دے علاوہ دوسرے نیٹ ورک — جداں کہ عصبیات،[۱] سالماندی رموز دا ارتقا،[۲] تے فنکشن[۳] بيئيات وچ مثیل دا انتخاب،[۴] حرارتی فزکس،[۵] مقداریہ شمارندگی، علمی سرقہ دا انکشاف،[۶] تے معطیاندی تحلیل دی دوسری اقسام۔[۷]
نظریہ اطلاعات وچ اک کلیدی ناپ درمائلت کہلاندا اے، جو عام طور اُتے ابلاغیت یا تخزین دے لئی درکار تثمات دی اوسط تعداد اظہار کیتا جاندا اے۔ وجدانی طور پر، درمائلت کسی تصادفی متغیر توں مٹھ بھیڑ اُتے لاتیقن دی مقدار بتاندا اے۔ مثلاً، اک کھرے سکہ دے اُچھالنے (دو برابر امکانی نتائج) اُتے درمائلت طاس دے لڑکھانے (چھ برابر امکانی نتائج) توں کم ہوئے گی۔
نظریہ اطلاعات دی اطلاقیات دے بنیادی موضوعات وچ شامل نيں بغیر خسارہ معطیاندی دابیت (مثال، ZIP تصویر)، خساری معطیاندی دابیت (مثال MP3) تے رودبار رمزیہ (مثال: DSL لکیراں)۔ ایہ شعبہ ریاضیات، احصاء، فزکس، شمارندی سائنس، عصبیات تے برقی ہندسیہ دے قاطع اُتے اے۔ اس دا اثر گہری فضاء دے وائجر سفارت دی کامیابی، قرص دی ایجاد، محمول دا ممکن ہونے، جالکار دی ترقی، لسانیات تے انسانی آگاہی، ثقب اسود دی سمجھ بوجھ تے بوہت سارے دوسرے میداناں وچ ، اُتے ہويا۔ نظریہ اطلاعات دے اہم ذیلی میدان نيں، منبع ترمیز، رودبار ترمیز، نظریہ الخوارزمی پچیدگی تے اطلاعات دے ناپ۔
اصطلاح | term |
---|---|
ترمیز |
coding |
جائزہ
[سودھو]نظریہ اطلاعات دے بنیادی تصورات نوں گرفت وچ لیانے دے لئی توجہ کرو انسانی ابلاغیات دا کثیر ترین وسیلہ: بولی۔ بولی دے دو اہم پہلو ذیل نيں: پہلا، سب توں عام الفاظ (مثلاً ہے، کا) چھوٹے ہونے چاہیے نيں ایسے الفاظ توں جو نسبتاً کم عام ہاں (مثلاً جمہوریت، کمینہ)، تا کہ جملے بہت لمبے نہ ہون۔ اس طرح لفظ دی لمبائی وچ تجارت ایسی ہی اے جداں معطیات دابیت تے منبع ترمیز دا لازمی پہلو اے۔ دوسرا، جے جملہ دا کچھ حصہ سنیا نہ جا سکا ہو یا غلط سمجھ آیا ہو شور دی وجہ توں — جداں لنگھدی گاڑی دی وجہ توں — تو سامع فیر وی جملہ دا معنی اخذ کے سکے۔ اس طرح دا اکھڑپن برقی ابلاغیات دے لئی لازم اے جس طرح ایہ بولی دے لئی اے ؛ صحیح طریقہ توں ایہ اکھڑپن ابلاغیات وچ ڈالنا رودبار ترمیز توں کیتا جاندا اے۔ منبع ترمیز تے رودبار ترمیز بنیادی معاملات نيں نظریہ اطلاعات دے ۔
خیال رہے کہ انہاں معاملات دا پیغامات دی اہمیت توں کوئی تعلق نئيں۔ مثال دے طور پر، رسمی فقرہ " شکریہ؛ دوبارہ آئیے گا" نوں لکھنے وچ تقریباً اِنّا ہی وقت درکار ہُندا اے جِنّا کہو کہ اک فوری درخواست کيتی صدا، "ہسپتال لے چلو!"، جدوں کہ صاف طور اُتے آخرالذکر کيتی اہمیت زیادہ اے تے زیادہ با معنی اے۔ نظریہ اطلاعات وچ پیغام دا مطلب یا اہمیت اُتے توجہ نئيں دتی جاندی، چونکہ ایہ معاملات ڈیٹا دی کیفیت توں متعلق نيں نہ کہ مقدار یا ڈیٹا دے قابل پڑھ توں ؛ آخر الذکر صرف احتمالات توں جبر ہُندی اے۔
نظریہ اطلاعات دی بنیاد کلاڈ شانن نے 1948ء وچ اپنے تخمی کم ابلاغیات دا ریاضیاتی نظریہ توں رکھی۔ اس نظریہ دا نمونہ ہندسیہ وچ شوریلی رودبار اُتے اطلاعات دی ترسیل اے۔ اس نظریہ دا سب توں بنیادی نتیجہ شانن دا منبع ترمیز قضیہ اے، جو قائم کردا اے کہ کسی لاتیقن واقعہ نوں نمائندہ کرنے دے لئی تثمات دی اوسط تعداد اس واقعہ دی درمائلت دے برابر اے ؛ تے شانن دا شوریلی-رودبار ترمیز قضیہ، جو بیان کردا اے کہ شوریلی رودبار اُتے متعبر ابلاغ ممکن اے بشرط کہ ابلاغیات دی شرح اک خاص عتبہ توں کم رکھی جائے، جسنوں گنجائشِ رودبار کہندے نيں۔ گنجائشِ رودبار تک پہنچایا جا سکدا اے مناسب رمزی تے کشف رمزی نظامات دے استعمال توں ۔
نظریہ اطلاعات دا خالص تے اطلاقی شعباں دے مجموعہ توں قریبی تعلق اے جنہاں دی پچھلی نصف صدی وچ تفتیش کر کے انھاں ہندسیہ ممارست وچ لیایا گیا اے مختلف سُرخیاں توں : نظامِ تلاوم، نظام پیش بندی، مصنوع ذہانت، پیچیدہ نظام، علم پچیدگی، سیادیات، معلومیات، آلاندی تعلم تے نظاماندی سائنس دے بیشتر تفاصیل۔ نظریہ اطلاعات وسیع تے گہرا ریاضیاتی نظریہ اے، جس جے اِنّے ہی وسیع تے گہرے اطلاقیات نيں، جنہاں وچ شامل نظریہ ترمیز دا حیوی میدان اے۔
نظریہ ترمیز ایسے قطعی طرائق ڈھوندنے توں متعلق اے، جنہاں نوں رموز کہندے نيں، جنہاں توں شوریلی رودبار اُتے ڈیٹا دے ابلاغ دی کارکردگی بڑھانے تے ابلاغ وچ غلطی دی شرح نوں اُس حد تک کم کرنے دی کوشش کيتی جاندی اے جس دا شانن نے ثبوت دتا سی کہ ایہ اس رودبار دے لئی ایہ کم ترین ممکن شرح اے۔ اس رموز نوں تقسیم کیتا جا سکدا اے معطیات دابیت (رودبار ترمیز) تے غلطی درستی (رودبار ترمیز) تکانیک وچ ۔ آخرالذکر کے معاملہ وچ شانن دے ممکن دسدے دے بہت برساں بعد ایسے طریقے دریافت کیتے جا سکے۔ نظریہ اطلاعات دے رموز دی تیسری قسم اخفااشفا الخوازم نيں (رموز تے صفریہ)۔ نظریہ اطلاعات دے تصورات تے طرائق اخفااشفا تے اخفا تحلیل وچ بہت استعمال ہُندے نيں۔
نظریہ اطلاعات دا استعمال اطلاعات مستعاد، معلومات اکٹھگی، جؤا بازی، احصاء تے موسیقی ترکیب تک، وچ وی ہُندا اے۔
اطلاعاندی نظریے دا عملی اطلاق WinRar تے WinZip جداں سافٹ وئیر وچ سانوں زیادہ بہتر طور اُتے نظر آندا اے جو اک بہت وڈی فائل نوں بہت کم جگہہ وچ سٹور کرنے دے قابل بناندے نيں۔ اسی طرح اس تھیوری دی بدولت اسيں انٹرنیٹ اُتے بہت کم سپیڈ دے باوجود گفتگو سن سکدے نيں۔ طرح طرح دے ویڈیو تے آڈیو فارمیٹ اسی ٹیکنالوجی دی بنیاد اُتے کم کردے نيں جداں .mp3 ogg gif jpeg bmp وغیرہ۔ ہر فائل فارمیٹ سانوں معلومات دی کوالٹی تے اس دے ہارڈڈسک اُتے حجم دے درمیان اک ٹریڈآف مہیا کردا اے۔ جداں BMP تصویر دی کوالٹی بہتر ہوئے گی تو JPEG یا GIF وچ اوہی تصویر کم جگہہ لے گی۔
کسی پیغام نوں اسيں زیادہ توں زیادہ کتنا Compress یا مختصر کر سکدے نيں اس دا انحصار اس گل اُتے اے کہ اس وچ معلومات دی مقدار کِنّی اے۔ اطلاعاندی نظرئے وچ معلومات دی مقدار نوں (انٹروپی Entropy)کہندے نيں۔ تے اوہدی اکائی بٹ (Bit) اے۔ وڈی اکائیاں کلو بٹ(1000 بٹس) تے میگا بٹ(1000 کلو بٹ) نيں۔
اس تھیوری دا بنیادی نقطہ ایہ اے کہ جو الفاظ زیادہ استعمال ہُندے نيں انہاں نوں کم حروف توں ظاہر کیتا جانا چاہیے جدوں کہ کم استعمال ہونے والے حروف کچھ زیادہ وڈے ہاں تو وی مذائقہ نئيں۔ اسيں دیکھدے نيں دا ساڈی اپنی بولی اردو وچ تمام الفاظ برابر حروف اُتے مشتمل نئيں۔ بکثرت استعمال ہونے والے الفاظ عموما چھوٹے ہُندے نيں جداں کا' دے ' کی' اے ' نيں وغیرہ۔ انہاں دے مقابلے وچ "دائرۃ المعارف" تے اس جداں دوسرے کئی الفاظ جو کم استعمال ہُندے نيں' نسبتا لمبے نيں۔ کیہ ایہ بہتر نہ ہو کہ تمام الفاظ اک سٹینڈیرڈ لمبائی دے ہاں؟ اس دا جواب اے ' جی نئيں
جس طرح پانچاں اگلیاں برابر نئيں ہُندیاں تے ہر اک اپنی جگہہ بہترین آلہ دے طور پے موجود اے بالکل اسی طرح کسی بولی دے الفاظ وی وڈے جھوٹھے ہونا وی اک نعمت اے تے اس دے کئی فائدے نيں اطلاعاندی نظریہ سانوں بتاندا اے کہ اس طرج اسيں اپنی گل جلدی کہہ سکدے نيں۔ شاید آپ دے علم ہو کہ کمپیوٹر وچ الفاظ تے حروف نوں زخیرہ کرنے دے لئی ہر اک حرف اک مقررہ لمبائی دا ہی ہُندا اے۔ جداں یونی کوڈ وچ جو اس صفحے دے لئی استعمال ہو رہیا اے ' ہر حرف دے لئی 16 ثنائی ہندسے (Bits) استعمال کردا اے۔ یا فیر انگریزی دا بہت مشہور کوڈ ASCII ہر حرف دے لئی 8 ثنائی ہندسے استعمال کردا اے۔ 1948 وچ اک امریکی الیکٹرانکس انجنئیر نے ایہ نظریہ پیش کیتا کہ جے اسيں انہاں حروف نوں سٹور کرنے دے لئی ہر حرف دے لئی مختلف لمبائی دے ثنائی ہندساں دی مدد لاں' اس طرح کہ زیادہ استعمال وچ آنے والے حروف جداں "A", "E", "I", "O" وغیر ہ نوں کم توں کم ہندساں توں تے کم استعمال ہونے والے حروف جداں "Z", "Q" وغیرہ نوں زیادہ حروف توں ظاہر کرن تو نتیجے دے طور اُتے اسيں کسی وڈی فائل نوں بہت کم جگہہ وچ محفوظ کر سکدے نيں۔
اطلاعات دی مقداراں
[سودھو]نظریہ اطلاعات دی اساس نظریہ احتمال تے احصاء نيں۔ اطلاعات دی سب توں اہم مقداراں وچ اے درمائلت، یعنی تصادفی متغیر وچ اطلاع دی مقدار تے باہمی اطلاع، یعنی دو تصادفی متغیراں وچ مشترک اطلاع دی مقدار۔ اول الذکر ایہ بتاندی اے کہ پیغام ڈیٹا نوں کِنّی آسانی توں دابیت سکدا اے تے آخرالذکر رودبار دے پار ابلاغ دی شرح ڈھونڈنے وچ کم آ سکدی اے۔
ذیل دے کلیات وچ لاگرتھم دی اساس اطلاعات درمائلت دے ناپ دی اکائی جبر کردی اے۔ سب توں عام اکائی تثم اے، جو اساس 2 (تثنیہ) دے لاگرتھم دے انتخاب توں ملحق اے۔ دوسری اکائیاں وچ شامل اے قادری جو قدرتی لاگرتھم توں ملحق اے۔
ذیل وچ اظہاریہ نوں صفر سمجھیا جائے گا جدوں وی ہوئے۔
درمائلت
[سودھو]![](http://upload.wikimedia.org/wikipedia/commons/thumb/2/22/Binary_entropy_plot.svg/200px-Binary_entropy_plot.svg.png)
اک متفرد تصادفی متغیر دی درمائلت اس متغیر دی قدر دے نال مشارکہ لاتیقن نوں ناپتی اے۔ فرض کرو کہ ہزار تثمات (0 تے 1) ترسیل کیتے جاندے نيں۔ جے آپ دی طرف ترسیل توں پہلے ہی ایہ آپ نوں معلوم نيں (کسی قدر اُتے مطلق احتمال توں )، تو منطق دا تقاضا اے کہ کوئی اطلاع ترسیل نئيں ہوئی۔ البتہ جے، ہر تثم برابر امکان دے نال 0 یا 1 اے، تو 1000 تثمات ترسیل کیتے گئے نيں۔ انہاں دو شدتاں دے درمیان، اطلاع دی مقدار دا ایويں تعین کیتا جا سکدا اے: جے تمام ممکنہ پیغامات دا طاقم اے جو ممکنہ طور اُتے ہو سکدا اے تے احتمال اے دا کہ ہو، تو تصادفی متغیر دی درمائلت ایويں تعریف ہُندی اے:[۸]
(ایتھے خود-اطلاع اے، جو اک پیغام دی انفرادی درمائلت دا حصہ اے تے تصادفی متغیر دی متوقع قدر اے۔) درمائلت دا اہم خاصہ ایہ اے کہ درمائلت کبیر ہُندی اے جدوں تمام ممکنہ پیغامات برابر امکانی ہاں ، — یعنی سب توں زیادہ ناقابلِ پیشن گوئی— جس صورت وچ ہُندی اے۔
ایسے تصادفی متغیر جس دی ممکنہ اقدار صرف دو ہاں، دی درمائلت (ثنائی درمائلت دالہ) ایہ خاص صورت اختیار کے جائے گی:
مشترک درمائلت
[سودھو]دو متفرد تصادفی متغیراں تے دی مشترک درمائلت محض انہاں دونے دے جوڑے دی درمائلت اے۔ اس توں منتقض اے کہ جے تے احصائی آزاد ہاں، تو انہاں دی مشترک درمائلت حاصل جمع ہوئے گی انہاں دی انفرادی درمائلتاں کا۔
مثال دے طور اُتے جے نمائندہ اے شطرنج دے مہرہ دے مقام دا — قطار تے ستون، تو مہرہ دی قطار تے مہرہ دے ستون دی مشترک درمائلت، مہرہ دے مقام دی درمائلت ہوئے گی۔
مشابہ علامت دے باوجود مشترک درمائلت نوں کَج درمائلت توں گڈمڈ نئيں کرنا چاہیے۔
مشروط درمائلت (مُلتَبَس)
[سودھو]کسی تصادفی متغیر دی مشروط درمائلت یا مشروط لاتیقن جدوں کہ اک دوسرے تصادفی متغیر دی قدر معلوم ہو (یعنی )، ایويں لکھی جا سکدی اے:
یہ مشروط درمائلت دی پہلی تعریف اے۔
مشروط درمائلت دی دوسری تعریف، جو زیادہ عام اے، وچ تصادفی متغیر دے لحاظ توں اوسط نکالی جاندی اے:[۹]
اسنوں Y دے بارے وچ X دا ملتبس وی کہیا جاندا اے۔
یہ دونے تعریفاں مختلف نيں۔ پہلی وچ تصادفی متغیر دے کسی خاص قدر ہونے اُتے مشروط اے، جدوں کہ دوسری وچ تصادفی متغیر اُتے مشروط کر کے دے لحاظ توں متوقع قدر حاصل کيتی گئی اے۔ اسيں دوسری تعریف استعمال کرن گے۔
مشروط درمائلت دا اساسی خاصہ اے کہ:
اصطلاح | term |
---|---|
تباعد |
divergence |
باہمی اطلاعات (انتقالِ اطلاعات)
[سودھو]اک تصادفی متغیر دا مشاہدہ کرنے توں دوسرے تصادفی متغیر بارے ملنے والی اطلاعات نوں باہمی اطلاعات کہندے نيں۔ ابلاغیات وچ ایہ اہم اے کہ اس توں ترسیل کیتے گئے تے وصول ہوئے اشارات دے درمیان اطلاعات دی مقدار دی تکبیر دی جا سکدی اے۔ تصادفی متغیر دی باہمی اطلاعات نسبت تصادفی متغیر کے، ایويں دتی جاندی اے:
جتھے (SI=specific mutual information) نکتہ بہ نکتہ باہمی اطلاع اے۔[۱۰]
باہمی اطلاعات دا اساسی خاصہ اے کہ:
یعنی Y نوں جان کے اسيں X دی ترمیز وچ اوسطاً تثمات بچا سکدے نيں۔
باہمی اطلاعات متناظر اے:
کالبک-لائبلر تباعد (اطلاعات ربح)
[سودھو]کالبک-لابلر تباعد (یا اطلاعات تباعد یا اطلاعات ربح یا نسبتاً درمائلت) طریقہ اے دو توزیعات دا موازنہ کرنے کا: اک سچ توزیع احتمال p(x)
تے اک تعسُفی توزیع احتمال q(x)
۔
جے اسيں ایہ تصور کر کے ڈیٹا دی دابیت کرن کہ اس زیراں توزیع q(x)
اے، جدوں کہ حقیقت وچ صحیح توزیع p(x)
ہو، کلباک-لابلر تباعد ہر معطع دی دابیت دے لئی اوسط اضافی تثمات دی تعداد دے برابر اے۔ اسنوں ایويں تعریف کیتا جاندا اے:
اگرچہ اسنوں کدی 'فاصلہ بَحر' دے استعمال کیتا جاندا اے، مگر ایہ سچی بَحر نئيں اے کیونکہ ایہ متناظر نئيں تے مثلث نامساوات دی تسکین نئيں کردی (اس لئی نیم-بَحر اے )۔
نظریہ ترمیز
[سودھو]![](http://upload.wikimedia.org/wikipedia/commons/thumb/5/5a/CDSCRATCHES.jpg/220px-CDSCRATCHES.jpg)
نظریۂ اطلاعات دا اک اہم ترین اطلاقیات نظریہ ترمیز اے۔ اوہدی ہور تقسیم دی جا سکدی اے نظریۂ منبع ترمیز تے نظریۂ رودبار ترمیز وچ ۔ ڈیٹا دے احصائی بیانہاں تاں، نظریہ اطلاعات ڈیٹا نوں بیان کرنے دے لئی درکار تثمات دی تعداد دا تعین کردا اے، جو منبع دی درمائلتِ اطلاع اے۔
- ڈیٹا دابیت (منبع ترمیز): دابیت دے مسئلہ دے دو کلیات نيں:
- غیر الخسارہ دابیت: ڈیٹا توں قطعی تعیرِ نو ممکن ہونا چاہیے۔
- خساری معطیات دابیت: تعمیرِ نو دے لئی تثمات دی تفویض اس طرح کيتی جاندی اے کہ وفادری سطح جو اعوجاج دالہ توں ناپی جاندی اے اک خاص سطح توں نیچے نہ گرے۔
- غلطی درستی رمز (رودبار ترمیز): جدوں کہ ڈیٹا دابیت جتھے تک ممکن ہو وفر نوں ہٹاندا اے، غلطی درستی رمز صحیح طرز دی وفر ڈالتا اے (غلطی درستی) جو ڈیٹا دی شوریلی رودبار دے پار بااہل تے وفادار ترسیل دے لئی ضروری ہوئے۔
نظریہ ترمیز دی دابیت تے ترسیل وچ تقسیم اطلاعاندی ترسیل قضیات توں برحق اے یا منبع–رودبار علیحدگی قضیہ جو ایہ ثابت کرے نيں کہ تثبات مختلف سیاق و سباق وچ اطلاعات دا کائناتی سکہ اے۔ البتہ ایہ قضیہ صرف اس وقت لاگو ہُندے نيں جدوں اک ترسیلی صارف تے اک وصولی صارف ہوئے۔ انہاں مناظر وچ جدوں جب اک توں زیادہ ترسیلہ ہاں (متعدد-رسائی رودبار) یا اک توں زیادہ وصولہ ہاں (نشری رودبار) یا وسطی مددگار (بدیل رودبار) یا زیادہ جامع کمپیوٹر نیٹ ورک، انہاں صورتاں وچ دابیت دے بعد ترسیل (غلطی درستی رمز دے نال) نوں کامل ہونا نئيں کہیا جا سکدا۔
اصطلاح | term |
---|---|
منبع |
source |
نظریہ منبع
[سودھو]کوئی وی عمل جو پے درپے پیغامات تولید کردا اے، نوں اطلاعات دا منبع سمجھیا جا سکدا اے۔ ذیل وچ انہاں پیغامات نوں علامات کہیا جائے گا تے لکھیا جائے گا۔ غیر سٹوریج منبع ایسا ہُندا اے جس وچ ہر پیغام آزاد یکساں توزیعی تصادفی متغیر ہو، جدوں کہ عرگودیائی تے مقیمیت زیادہ عام پابندیاں لاگو کردے نيں۔ ایہ تمام عملیات عشوائی نيں۔ انہاں نوں نظریہ اطلاعات دے باہر اپنی وجہ توں مطالعہ کیتا جاندا اے۔
شرح
[سودھو]اطلاعات شرح r اوسط درمائلت فی علامت (پیغام) اے۔ لاسٹوریج منبع دے لئی ایہ محض درمائلت فی علامت اے، جدوں کہ مقیم عشوائی عملیات دے لئی، ایہ شرح اے
یعنی علامت دی مشروط درمائلت جدوں کہ تمام پچھلے تولید شدہ علامات دتے (معلوم) ہون۔ زیادہ جامع عملیات جو بے شک مقیم نہ ہو دے لئی اوسط شرح اے
یعنی مشترک درمائلت فی علامت دی حد۔ مقیم منبع دے لئی ایہ دو اظہاریہ اک ہی نتیجہ دے نيں۔[۱۱] نظریہ اطلاعات وچ زبانہاں دی "شرح" یا زبانہاں دی "درمائلت" بولنا عام اے۔ ایہ مناسب اے مثال کہ طور اُتے جدوں منبع اردو نثر ہوئے۔ اطلاعات منبع دی شرح دا رشتہ اس وچ وافریت توں اے تے اس توں کہ اسنوں کتنا دابیت کیتا جا سکدا اے، جو منبع ترمیز دے موضوعات نيں۔
گنجائشِ رودبار
[سودھو]رودبار اُتے ابلاغ جداں کہ —mobile phone اُتے گپ شپ— نظریہ اطلاعات دی اولٰی تحریک اے۔ محمول صارفین نوں البتہ تجربہ اے کہ ایہ رودباراں اکثر اشارات دی قطعی تعمیرِ نو وچ ناکم ہو جاندی نيں، خاموش وقفے تے اشاراندی فاسدگی دی دوسری ہئیتاں کفیت نوں گھٹا دیندے نيں۔ اک شوریلی رودبار اُتے اسيں کِنّی اطلاعات ابلاغ کرنے دی امید رکھ سکدے نيں؟
اک متفرد رودبار اُتے ابلاغی عملیات نوں دیکھو۔ اس عملیات دا سادہ تمثیل نیچے دکھایا اے:
ایتھے X نمائندہ اے ترسیل شدہ پیغمات دی فضاء دا تے Y فضاء اے وصولہ پیغامات دا جو ایکائی وقت وچ ساڈی رودبار اُتے وصول ہُندے نيں۔
چلو مشروط توزیع احتمال ہو Y دی جدوں کہ X دتا (معلوم) ہوئے۔ اسيں
p(y|x)
نوں ابلاغی رودبار دا جبلی مستقل خاصہ سمجھاں گے (جو ساڈی رودبار دی شور قدرت دی نمائندہ اے )۔ تب X تے Y دی مشترک توزیع مکمل طور اُتے جبر ہو جاندی اے ساڈی رودبار تے ساڈے f(x)
دے انتخاب توں، ساڈے پیغام جو اسيں رودبار اُتے بھیجنا چاہندے نيں دی مختتم توزیع۔ انہاں پابندیاں دے تحت اسيں اطلاعات دی شرح یا اشارات، دی تکبیر کرنا چانيں گے، جو اسيں رودبار اُتے ابلاغ کر سکدے نيں۔ اس دے لئی مناسب ناپ باہمی اطلاعات اے تے اس تکبیر باہمی اطلاعات نوں گنجائشِ رودبار کہے نيں تے اس طرح دے نيں:
گنجائش دا ذیل خاصہ اے جو شرح R اُتے ابلاغ توں نسبت اے (جتھے R عموماً تثمات فی علامت ہُندا اے )۔ کسی وی اطلاعات شرح R <C
تے رمز غلطی ε> 0
تے کافی وڈے N دے لئی، لمبائی N تے شرح ≥ R
دا رمز وجود رکھدا اے تے کشف رمزی الخوارزم وی کہ تکبیری قالب غلطی دا احتمال ≤ ε
ہوئے گا؛ یعنی تعسُفی چھوٹی قالب غلطی توں ترسیل کرنا ہمیشہ ممکن ہوئے گا۔ اس دے علاوہ، جے R> C
ہو تو تعسُفی چھوٹی غلطی توں ترسیل کرنا ناممکن ہوئے گا۔
رودبار ترمیز دا معاملہ ایسے قریباً کامل رمز ڈھونڈنے توں اے جو شوریلی رودبار اُتے چھوٹی ترمیز غلطی دے ساٹھ گنجائشِ رودبار دے قریب شرح اُتے ڈیٹا دی ترسیل دے لئی استعمال ہو سکن۔
گنجائشِ رودبار تے متخصص رودبار تمثیلاں
[سودھو]- اک استمری-وقت ابلاغ رودبار جو گاسی شور دے زیر ہو — دیکھو شانن ہارٹلے قضیہ۔
- اک ثنائی متناظر رودبار جس دا آرپار احتمال p ہو، اک ثنائی ادخال، ثنائی اخراج رودبار اے، جو ادخال تثم نوں احتمال p توں اُلٹا دیندی اے۔ اس رودبار دی گنجائش فی رودبار استعمال اے، جتھے ثنائی درمائلت دالہ اے۔
- یک ثنائی مٹانا رودبار جس دے مٹانے دا احتمال p ہو، اک ثنائی ادخال، سہی (تین) اخراج رودبار اے۔ رودبار دے ممکنہ اخراج 0، 1 تے تیسری علامت e اے جسنوں مٹیا کہندے نيں۔ مٹیے اطلاعات دے مکمل خسارے دی نمائندگی کردا اے۔ اس رودبار دی گنجائش
1 - p
تثمات فی رودبار استعمال اے۔
ہور ویکھو
[سودھو]
- ↑ F. Rieke, D. Warland, R Ruyter van Steveninck, W Bialek, Spikes: Exploring the Neural Code. The MIT press (1997).
- ↑ cf. Huelsenbeck, J. P., F. Ronquist, R. Nielsen and J. P. Bollback (2001) Bayesian inference of phylogeny and its impact on evolutionary biology, Science 294:2310-2314
- ↑ Rando Allikmets, Wyeth W. Wasserman, Amy Hutchinson, Philip Smallwood, Jeremy Nathans, Peter K. Rogan, Thomas D. Schneider Archived 2012-02-04 at the وے بیک مشین, Michael Dean (1998) Organization of the ABCR gene: analysis of promoter and splice junction sequences, Gene 215:1, 111-122
- ↑ Burnham, K. P. and Anderson D. R. (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition (Springer Science, New York) ISBN 978-0-387-95364-9.
- ↑ Jaynes, E. T. (1957) Information Theory and Statistical Mechanics, Phys. Rev. 106:620
- ↑ Charles H. Bennett, Ming Li, and Bin Ma (2003) Chain Letters and Evolutionary Histories Archived 2007-10-07 at the وے بیک مشین, Scientific American 288:6, 76-81
- ↑ Lua error in ماڈیول:Citation/CS1/ar at line 3438: attempt to call field 'set_selected_modules' (a nil value).
- ↑ Fazlollah M. Reza (1961, 1994). An Introduction to Information Theory. Dover Publications, Inc., New York. ISBN 0-486-68210-2.
- ↑ Robert B. Ash (1965, 1990). Information Theory. Dover Publications, Inc.. ISBN 0-486-66521-6.
- ↑ واضح رہے کہ ایہ اطلاعات توں مختلف شے اے۔
- ↑ Jerry D. Gibson (1998). Digital Compression for Multimedia: Principles and Standards. Morgan Kaufmann. ISBN 1-55860-369-7.
کتاباں
[سودھو]- نظریہ اطلاعات، اِستنتاج تے تعلّم الخوارزم "Information Theory, Inference and Learning Algorithms"
E=mc2
پنجابی ویکیپیڈیا اُتے ریاضی مساوات نوں کھبے توں سجے LTR پڑھو ریاضی علامات