Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
17 commits
Select commit Hold shift + click to select a range
940fd24
fix(figures): close Chinese numbering gaps and rebuild fig8-1
bojieli Aug 13, 2026
9f1ab08
fix(figures): rebuild the stale chapter 8 artwork in 11 editions
bojieli Aug 13, 2026
158ccf7
fix(figures): rebuild wrong and stale chapter 3 artwork in 8 editions
bojieli Aug 13, 2026
8111351
fix(figures): align chapter 9 caption numbering and rebuild fig4-9
bojieli Aug 13, 2026
8c2a8ca
fix(figures): renumber chapter 9 captions to match their files
bojieli Aug 13, 2026
cb834f5
fix(figures): renumber the remaining Russian chapter 10 caption
bojieli Aug 13, 2026
bbd1ecd
docs(i18n): sync chapter 9 prose to the Chinese and fix Hungarian ord…
bojieli Aug 13, 2026
d7a8b29
docs(i18n): sync the chapter 7 reward section to the Chinese (en, zht…
bojieli Aug 13, 2026
3376bbe
docs(i18n): sync the chapter 7 reward section across all 12 editions
bojieli Aug 13, 2026
23e5911
fix(figures): translate the remaining Chinese text in chapter 4 figures
bojieli Aug 13, 2026
5de5c0c
Merge remote-tracking branch 'origin/fix/prose-sync-ch7-ch4' into i18…
bojieli Aug 15, 2026
ba85319
docs(i18n): align experiment/figure/table numbering across all 12 tra…
bojieli Aug 15, 2026
efd6c6b
Merge branch 'main' into i18n/numbering-alignment
bojieli Aug 15, 2026
2abb506
refactor(i18n): sync the Chapter 6 "Interaction" restructure to all 1…
bojieli Aug 15, 2026
54dc1bd
Merge branch 'main' into i18n/chapter6-restructure
bojieli Aug 15, 2026
4a768a0
refactor(book): unify the two competing security taxonomies into one …
bojieli Aug 15, 2026
75f5570
Merge branch 'main' into book/unify-security-taxonomy
bojieli Aug 15, 2026
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
16 changes: 9 additions & 7 deletions book-ar/chapter1.ar.md
Original file line number Diff line number Diff line change
Expand Up @@ -435,7 +435,7 @@ else:

### ضوابط الأمان والسلامة

يقدم هذا القسم نظرة عامة رفيعة المستوى عن حواجز الحماية لتكوين الصورة الكبيرة. تتبع تفاصيل التنفيذ والممارسات في الفصل 2 (الحماية من حقن الموجّهات)، والفصل 4 (التحكم في إذن الأداة)، والفصل 5 (أمان تنفيذ التعليمات البرمجية)؛ لا يحتاج القراء لأول مرة إلى متابعة كل التفاصيل.
يقدم هذا القسم نظرة عامة رفيعة المستوى عن حواجز الحماية لتكوين الصورة الكبيرة. تتبع تفاصيل التنفيذ والممارسات في الفصل 2 (طبقة السياق: الحماية من حقن الموجّهات)، والفصل 4 (طبقة التنفيذ: التحكم في إذن الأداة)، والفصل 5 (طبقتا التنفيذ والبيانات: أمان تنفيذ الشيفرة وإنزال حدّ الثقة)؛ لا يحتاج القراء لأول مرة إلى متابعة كل التفاصيل.

حواجز الحماية هي الطريقة التي يتم بها تنفيذ طبقة "التقييد والتحقق والتصحيح" الخاصة بمنظومة التشغيل بشكل أساسي - وهي عبارة عن دفاع متعدد الطبقات يحافظ على سلوك الوكيل آمنًا ويمكن التحكم فيه. تساعد **حواجز الحماية** المصممة جيدًا في إدارة مخاطر خصوصية البيانات (على سبيل المثال، منع التسرب الفوري للنظام) والمخاطر المتعلقة بالسمعة (على سبيل المثال، الحفاظ على سلوك النموذج متسقًا مع العلامة التجارية). ابدأ بحواجز الحماية للمخاطر التي حددتها بالفعل، ثم أضف مخاطر جديدة عند ظهور نقاط ضعف جديدة.

Expand All @@ -445,15 +445,17 @@ else:

#### أنواع ضوابط الأمان

بناءً على موقعها في تدفق التنفيذ، تنقسم حواجز الحماية إلى ثلاثة أنواع: جانب الإدخال، وجانب التنفيذ، وجانب الإخراج.
تنقسم ضوابط الأمان بحسب موضع الحماية إلى ثلاث طبقات: **طبقة السياق، وطبقة التنفيذ، وطبقة البيانات**. وهذه الطبقات الثلاث ليست مرتّبة بحسب تسلسل معالجة الطلب، بل بحسب **صعوبة الالتفاف عليها**: فكلما نزلت الطبقة قلّ اعتمادها على حكم النموذج نفسه، وصَعُب اختراقها بهجمة واحدة ناجحة. وكل ما يأتي في هذا الكتاب لاحقًا من نقاش أمني معلّق على هذه الشجرة.

تعترض حواجز الحماية **جانب الإدخال** الطلبات قبل وصولها إلى الوكيل، وعادةً ما يتم ذلك من خلال أربع آليات. **المصنفات ذات الصلة** تشير إلى الاستعلامات خارج الموضوع، على سبيل المثال، يتم سؤال مساعد البرمجة، "كم يبلغ ارتفاع مبنى إمباير ستيت؟" **مصنفات الأمان** تكتشف عمليات كسر الحماية (لحث النموذج على تجاوز قيود الأمان الخاصة به) وحقن الموجّهات (تضمين تعليمات ضارة في الإدخال). الفرق الرئيسي: في عملية كسر الحماية، يحاول المستخدم تجاوز قيود النموذج مباشرةً؛ في حقن الموجّهات، يتلاعب المهاجم بسلوك النموذج بشكل غير مباشر من خلال البيانات الخارجية (محتوى الويب والمستندات). **الإشراف على المحتوى** يشير إلى المدخلات الضارة أو غير الملائمة، مثل المحتوى العنيف أو التمييزي. **عمليات الحماية المستندة إلى القواعد** تطبق إجراءات حتمية - القوائم السوداء، وحدود طول الإدخال، ومرشحات التعبير العادي - ضد التهديدات المعروفة مثل حقن SQL.
ضوابط **طبقة السياق** تحكم **ما يُسمح للنموذج برؤيته**، فتعترض المحتوى قبل دخوله إلى السياق، وتتألف عادةً من أربع آليات. **مصنّف الصلة** يشير إلى الاستعلامات الخارجة عن الموضوع، كأن يتلقّى مساعد برمجي سؤال "كم يبلغ ارتفاع مبنى إمباير ستيت؟". و**مصنّف الأمان** يكشف كسر الحماية (Jailbreak، أي دفع النموذج إلى تجاوز قيوده الأمنية) وحقن الموجّهات (Prompt Injection، أي زرع تعليمات خبيثة في المدخلات)؛ والفارق الجوهري بينهما أن كسر الحماية يحاوله المستخدم نفسه، بينما حقن الموجّهات يقوم به مهاجم يتلاعب بسلوك النموذج بطريق غير مباشر عبر بيانات خارجية كمحتوى صفحات الوِب أو المستندات. و**مراجعة المحتوى** تشير إلى المدخلات الضارّة أو غير اللائقة، كالعنف والتمييز. أما **الحماية القائمة على القواعد** فتستخدم تدابير حتميّة — القوائم السوداء، وحدود طول المدخلات، ومرشّحات التعابير النمطية — لدرء التهديدات المعروفة مثل حقن SQL. ويندرج في هذه الطبقة أيضًا وسم المصادر والفصل بين «التعليمات» و«البيانات»، ويبسطهما الفصل الثاني.

تعمل حواجز الحماية **جانب التنفيذ** على التحقق من صحة استدعاءات الأداة. جوهر الأمر هو **تصنيف مخاطر الأداة**: استنادًا إلى ما إذا كانت العملية قابلة للعكس، ومستوى الإذن الخاص بها، وتأثيرها المالي، يتم تعيين مستوى خطورة لكل أداة (منخفض/متوسط/مرتفع). تتطلب العمليات عالية المخاطر مراجعة إضافية أو تأكيدًا بشريًا.
غير أن لهذه الطبقة سقفًا بنيويًّا: **فـ Agent الجالس داخل السياق نفسه يصعب عليه أن يحكم هل حُقِن بالفعل أم لا**. ولذلك لا تستطيع طبقة السياق إلا خفض معدّل نجاح الهجمة، ولا تقدّم ضمانًا — وهذا بعينه سبب لزوم الطبقتين اللتين تحتها.

تتحقق حواجز الحماية **جانب المخرج** من الاستجابة قبل إعادتها إلى المستخدم. تقوم **مرشحات تحديد الهوية الشخصية** بمراجعة نتائج معلومات التعريف الشخصية (مثل أرقام الهوية وأرقام الهواتف) لمنع التعرض غير الضروري لها؛ **التحقق من صحة المخرجات** يضمن توافق الرد مع قيم العلامة التجارية من خلال عمليات التحقق من المحتوى.
ضوابط **طبقة التنفيذ** تحكم **ما يُسمح للنموذج بفعله**، فتتحقّق من الفعل قبل أن يسري فعلًا. وجوهرها **تصنيف مخاطر الأدوات**: تُمنح كل أداة درجة خطورة (منخفضة/متوسطة/عالية) بحسب قابلية العملية للتراجع، ومستوى الصلاحية، والأثر المالي؛ وتقتضي العمليات عالية الخطورة مراجعة إضافية أو تأكيدًا بشريًّا. والمهمّ أن تتولّى هذه المراجعة آلية **خارج السياق** — عملية مراجعة مستقلة، واعتمادات بأدنى صلاحية، وعزل في صندوق رملي، وإنسان في الحلقة — وإلا سقطت مع Agent المحقون. والردّ العائد إلى المستخدم هو نفسه فعل (يصنّفه الفصل الرابع ضمن أدوات التواصل مع المستخدم)، ولذلك تنتمي **فحوص المخرجات** إلى هذه الطبقة أيضًا: **مرشّح PII** يفحص المخرجات بحثًا عن معلومات التعريف الشخصية (كأرقام الهوية والهواتف) منعًا للكشف غير الضروري، و**التحقّق من المخرجات** يفحص المحتوى ليضمن اتّساق الردود مع قيم العلامة التجارية.

لاحظ أنه يمكن استخدام بعض الآليات (على سبيل المثال، تصفية التعبير العادي المستندة إلى القواعد) على جانبي الإدخال والإخراج؛ يتبع التصنيف أعلاه مواقع النشر الأكثر شيوعًا.
ضوابط **طبقة البيانات** تحكم **ما يمكن أن يصير إليه العالم في نهاية المطاف**، فتوكل قرار «من يفعل ماذا بأيّ سجلّ» إلى آلية مستقرّة راجعها البشر: سياسات الأمان على مستوى الصف في قاعدة البيانات، والقيود والمدقّقات، والمناظير المضبوطة والإجراءات المخزّنة، وسياق وصول يربطه زمن تشغيل موثوق ولا يمكن تزويره. وقيمة هذه الطبقة تكمن تحديدًا في أنها لا تتوقّف على صحّة الطبقتين فوقها: فحتى لو نجح حقن الموجّهات وأغفلت الشيفرة المولّدة التحقّق من الصلاحيات إغفالًا تامًّا، فإن العملية المتجاوزة للصلاحية تُرفض عند طبقة البيانات. ويبسط الفصل الخامس هذه الطبقة على مثال البرمجيات المولّدة ديناميكيًّا.

وينبغي التنبّه إلى أن الآلية الواحدة قد تظهر في أكثر من طبقة — فمرشّح التعابير النمطية القائم على القواعد يغربل المدخلات والمخرجات معًا — والتصنيف أعلاه يتبع الموضع الذي تقدّم فيه الآلية ضمانها. والطبقات الثلاث ليست بديلة عن بعضها بل متراكمة: العليا تصدّ معظم الهجمات في الخارج وتعطي تغذية راجعة مبكرة، والسفلى تحفظ الحدّ الذي لا يجوز انتهاكه حين تسقط العليا.

ومن أبرز التطبيقات الصناعية للحواجز المعتمدة على المصنّفات نظام **المصنّفات الدستورية** لدى Anthropic[^ch1-3]، ويقوم على ثلاثة عناصر. أولها **التدريب المستند إلى قواعد**: يُكتب «دستور» بلغة طبيعية يبيّن المسموح والمحظور بوضوح، ثم يُستخدم لتوليد بيانات اصطناعية تدرب مصنّفات للمدخلات والمخرجات. وثانيها **الحكم على السؤال والجواب معًا**؛ فقد تبدو إجابة مثل «كيفية استخدام منكّهات الطعام» بريئة إذا قُرئت وحدها، ولا يتضح أن العبارة ترمز إلى كواشف كيميائية إلا عند ربطها بسؤال المستخدم. وثالثها **الفحص على مرحلتين**: يفحص كل محادثة مسبار خفيف يقرأ التنشيطات الداخلية للنموذج بكلفة تكاد تساوي صفرًا، ثم يحيل الحالات المريبة إلى مصنّف أقوى بدل رفضها فورًا. وبذلك يمكن للمرحلة الأولى أن تكون أكثر حساسية، حتى مع زيادة الإنذارات الكاذبة، من دون إفساد تجربة المستخدم أو رفع الكلفة الإجمالية كثيرًا.

Expand Down Expand Up @@ -507,7 +509,7 @@ else:

**من سير العمل إلى الوكيل المستقل**: يطالب أولاً، ثم سير العمل، ثم الوكلاء المستقلون أخيرًا - هذا الطلب هو الطريقة الأكثر عملية لتقليل السلوك غير المتوقع. كل نمط تزامن له مواقف تناسبه؛ لا يوجد نمط واحد هو الأفضل في كل مكان.

**الأمن مشكلة معمارية**: حواجز الحماية، والتدخل البشري في الحلقة، والمحاذاة (الحفاظ على سلوك النموذج متسقًا مع القصد البشري) - يجب تصميم الأمان من السطر الأول من التعليمات البرمجية، وليس تصحيحه قبل الإطلاق. ويمتد على خمسة مستويات: النموذج والسياق والأدوات والتعاون والمجتمع.
**الأمن مشكلة معمارية**: حواجز الحماية، والتدخل البشري في الحلقة، والمحاذاة (الحفاظ على سلوك النموذج متسقًا مع القصد البشري) - يجب تصميم الأمان من السطر الأول من التعليمات البرمجية، وليس تصحيحه قبل الإطلاق. وتنقسم ضوابط الأمان بحسب صعوبة الالتفاف عليها إلى ثلاث طبقات — السياق والتنفيذ والبيانات — وكل ما يأتي في الفصول التالية من نقاش أمني معلّق على هذا الهيكل.

يتناول الفصل التالي بعمق العنصر الأكثر مركزية في منظومة التشغيل: هندسة السياق. يغطي الفصل الثامن الجذور الأكاديمية لمفهوم الوكيل في التعلم المعزز ويقارن RL التقليدي بوكلاء LLM الحديثين.

Expand Down
Loading
Loading