# RandLora: ضبط دقيق فعّال من حيث المعاملات بدرجات كاملة للنماذج الكبيرة
[RandLora](https://huggingface.co/papers/2502.00987) هي تقنية لضبط دقيق فعّال من حيث المعاملات، تشبه [LoRA](https://huggingface.co/papers/2106.09685) و[VeRA](https://huggingface.co/papers/2310.11454) لكنها تنفّذ تحديثات كاملة الرتبة لتحسين الأداء. يمكن أن تكون RandLora مفيدة بشكل خاص عند تكييف النماذج الكبيرة مع مهام صعبة تتطلب تحديثات معقدة مع الحفاظ على كفاءة المعاملات الخاصة بـ LoRA. يتم تحقيق التحديث الكامل الرتبة في RandLora عن طريق تحجيم قواعد عشوائية خطيًا. القواعد العشوائية هي مجموعة من مصفوفات منخفضة الرتبة بحيث يكون مجموع رتبها أكبر من أو يساوي الرتبة الكاملة لمصفوفات المعاملات. المعاملات القابلة للتدريب في RandLora هي مصفوفتان قطريان (متجهات) تُضربان مع القواعد العشوائية منخفضة الرتبة على الجانب الأيمن، بطريقة مشابهة لتحديث VeRA. للحفاظ على انخفاض استخدام الذاكرة، تستخدم RandLora دالة مخصصة تمنع تخزين القواعد غير الضرورية في الذاكرة لأغراض الانتشار العكسي.

يُظهر RandLora فرقًا جديرًا بالملاحظة، فخلافاً لخوارزميات PEFT المشابهة لـ LoRA، فإن زيادة الرتب الأساسية العشوائية في RandLora تزيد من عدد المعاملات القابلة للتدريب. وبما أن حاصل ضرب عدد القواعد في رتبة القواعد ثابت في RandLora، فإن تقليل الرتبة سيزيد من عدد القواعد العشوائية، وبالتالي عدد القواعد القطرية القابلة للتدريب الخاصة بكل قاعدة.

بما أن تقليل رتبة القواعد العشوائية في RandLora يؤدي إلى زيادة عددها، فقد يصبح تدريب RandLora أبطأ من LoRA في حالات الرتب الصغيرة جدًا، حيث أن الرتب الأقل من 4 عادةً ما تؤدي إلى زيادة كبيرة في وقت التدريب. ومع ذلك، لا يؤثر ذلك على الاستدلال (Inference) حيث يمكن دمج محولات RandLora في مصفوفات الأوزان المُدرَّبة مسبقًا.

يدعم RandLora أيضًا التدريب باستخدام قواعد عشوائية متناثرة ثلاثية القيم (تحتوي فقط على -1 و 0 و 1). هذه القواعد كما وردت في [Bingham et al.](https://cs-people.bu.edu/evimaria/cs565/kdd-rp.pdf) و [Ping et al.](https://hastie.su.domains/Papers/Ping/KDD06_rp.pdf) ويمكن نظريًا استخدامها لتقليل متطلبات الحساب من خلال إجراء عمليات تجميع بدلاً من ضرب المصفوفات لإنشاء تحديث الأوزان. هذا غير مدعوم حاليًا. على الرغم من أنه لا يقلل من الحساب حاليًا، إلا أن استخدام قواعد عشوائية متناثرة في RandLora يمكن أن يقلل من الإفراط في التخصيص في بعض الحالات. للمستخدمين المهتمين باستخدام قواعد ثلاثية متناثرة، يُوصى بالخيار `sparse` بدلاً من الخيار `very_sparse` الذي قد يقلل من الأداء.

وبنفس الطريقة في VeRA، عند حفظ معاملات RandLora، يمكن التخلي عن تخزين مصفوفات الرتبة المنخفضة عن طريق تعيين `save_projection=False` في `VeraConfig`. في هذه الحالة، سيتم استعادة هذه المصفوفات بناءً على البذرة العشوائية الثابتة من الحجة `projection_prng_key`. يقلل هذا من حجم نقطة التفتيش (checkpoint)، لكننا لا نستطيع ضمان قابلية التكرار على جميع الأجهزة وفي جميع الإصدارات المستقبلية من PyTorch. إذا كنت ترغب في ضمان قابلية التكرار، فقم بتعيين `save_projection=True` (وهو الإعداد الافتراضي).

وكما في Vera، وللتعامل مع الأشكال المختلفة للطبقات المُكيَّفة، يقوم RandLora بمبادرة مصفوفات A و B المشتركة بأقصى حجم مطلوب لكل بُعد. أثناء المرور الأمامي، تُستخرج المصفوفات الفرعية A و B لطبقة معينة من هذه المصفوفات المشتركة وتُستخدم كما هو موضح في الورقة البحثية. على سبيل المثال، تكييف طبقتين خطيتين بأشكال (100, 20) و (80, 50) سيُنشئ مصفوفات A و B بأشكال (rank, 50) و (100, rank) على التوالي. ثم، لتكييف طبقة من الشكل (100, 20)، ستُستخرج مصفوفات فرعية A و B بأشكال (rank, 20) و (100, rank).

تخضع RandLora حاليًا للقيود التالية:

- يتم دعم طبقات `nn.Linear` فقط.

ملخص الورقة البحثية هو:

> أظهرت تقنية التكيف منخفض الرتبة (LoRA) ومتغيراتها نتائج مبهرة في تقليل عدد المعاملات القابلة للتدريب ومتطلبات الذاكرة للشبكات التحويلية الكبيرة، مع الحفاظ على أداء الضبط الدقيق. ومع ذلك، فإن الطبيعة منخفضة الرتبة لتحديث الأوزان تحدّ بشكل جوهري من قدرة التمثيل للنماذج المُضَبَطة بدقة، مما قد يُقوّض الأداء في المهام المعقدة. وهذا يثير سؤالاً حاسماً: عند ملاحظة فجوة في الأداء بين LoRA والضبط الدقيق القياسي، هل السبب هو تقليل عدد المعاملات القابلة للتدريب أم نقص الرتبة؟
تهدف هذه الورقة إلى الإجابة عن هذا السؤال من خلال تقديم RandLora، وهي طريقة فعّالة من حيث المعاملات تقوم بإجراء تحديثات ذات رتبة كاملة باستخدام تركيبات خطية متعلمة من مصفوفات عشوائية غير قابلة للتدريب ذات رتبة منخفضة. تحدّ منهجيتنا من عدد المعاملات القابلة للتدريب عن طريق تقييد التحسين على مصفوفات تحجيم قطرية تُطبَّق على المصفوفات العشوائية الثابتة. وهذا يتيح لنا التغلب بفعالية على قيود الرتبة المنخفضة مع الحفاظ على كفاءة المعاملات والذاكرة أثناء التدريب. من خلال تجارب شاملة عبر معايير الرؤية واللغة ومعايير الرؤية-اللغة، نقيّم بشكل منهجي قيود LoRA وطرق الأساس العشوائي القائمة. تكشف نتائجنا أن التحديثات ذات الرتبة الكاملة مفيدة بشكل فردي في مهام الرؤية واللغة، بل وأكثر من ذلك في مهام الرؤية-اللغة، حيث يقلل RandLora بشكل كبير---وأحيانًا يلغي---الفجوة في الأداء بين الضبط الدقيق القياسي وLoRA، مما يثبت فاعليته.

## نظرة عامة على الاختبارات

<iframe src="https://peft-internal-testing-peft-method-comparison-embed.hf.space/?highlight[type]=RANDLORA" frameborder="0" width="850" height="1000"
>

# واجهة برمجة التطبيقات

## RandLoraConfig[[peft.RandLoraConfig]]

#### peft.RandLoraConfig[[peft.RandLoraConfig]]

```python
peft.RandLoraConfig(task_type: Optional[Union[str, TaskType]] = None, peft_type: Optional[Union[str, PeftType]] = None, auto_mapping: Optional[dict] = None, peft_version: Optional[str] = None, base_model_name_or_path: Optional[str] = None, revision: Optional[str] = None, inference_mode: bool = False, r: int = 32, target_modules: list[str] | str | None = None, projection_prng_key: int = 0, save_projection: bool = True, sparse: bool = False, very_sparse: bool = False, randlora_dropout: float = 0.0, fan_in_fan_out: bool = False, randlora_alpha: int = 640, bias: str = 'none', modules_to_save: list[str] | None = None, init_weights: bool = True, layers_to_transform: list[int] | int | None = None, layers_pattern: str | None = None)
```

[المصدر](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/randlora/config.py#L24)

**المعاملات:**

r (`int`، *اختياري*، القيمة الافتراضية `32`) : بُعد رتبة الأساس العشوائي لـ RandLora. على عكس Lora، فإن هذا المعامل يتناسب عكسياً مع عدد المعاملات القابلة للتدريب، فخفضه يزيد من عدد المعاملات القابلة للتدريب.

target_modules (`Union[list[str], str]`) : أسماء الوحدات التي سيتم تطبيق RandLora عليها. يتم دعم الطبقات الخطية فقط.

projection_prng_key (`int`) : مفتاح تهيئة مولّد الأرقام العشوائية RandLora. يُستخدم لتهيئة basis_A وbasis_B للنماذج الجديدة أو عند تحميل نقطة تحقق لم تتضمن هذه الإسقاطات. القيمة الافتراضية هي `0`.

save_projection (`bool`) : ما إذا كان سيتم حفظ الأساس العشوائي العام basis_A / basis_B في state dict إلى جانب مصفوفات lambda / gamma القطرية لكل طبقة. سيؤدي هذا إلى زيادة حجم نقطة الحفظ (checkpoint)، لكنه يضمن إمكانية إعادة تحميل نقطة الحفظ على جميع تكوينات النظام. القيمة الافتراضية هي `True`.

sparse (`bool`) : ما إذا كان سيتم استخدام قواعد عشوائية متناثرة كما هو موصوف في ورقة RandLora. هذه القواعد هي قواعد ثلاثية متناثرة (تحتوي فقط على -1 و 0 و 1) حيث تكون احتمالية الإسناد 1/6 لكل من -1 و 1، و 2/3 للقيمة 0. تهدف هذه المصفوفات المتناثرة إلى أن تُستخدم في المستقبل للحسابات الخالية من ضرب المصفوفات، راجع https://huggingface.co/papers/246.02528v1. التنفيذ الحالي هو إثبات مفهوم فقط، حيث لا يُستفاد من التناثر لتحسين السرعة أو استهلاك الذاكرة. عادةً لا يؤدي استخدام المصفوفات المتناثرة إلى تقليل الأداء، بل قد يساعد حتى في تقليل الإفراط في التخصيص. القيمة الافتراضية هي `False`.

very_sparse (`bool`) : ما إذا كان سيتم استخدام قواعد عشوائية شديدة التناثر كما هو موصوف في ورقة RandLora. القواعد شديدة التناثر هي قواعد ثلاثية شديدة التناثر (تحتوي فقط على -1 و 0 و 1) بالنسبة لمصفوفة بأصغر بُعد d، تكون احتمالية الإسناد 1/√D للقيم -1 و 1، و 1- 2/√D للقيمة 0. يمكن أن يؤدي استخدام هذه المصفوفات المتناثرة إلى تقليل الإفراط في التكيّف بشكل أكبر مقارنةً بالبدائل `sparse`، لكن من المرجح أن يؤدي ذلك إلى انخفاض الأداء كنتيجة لذلك. استخدم بحذر. القيمة الافتراضية هي `False`.

randlora_dropout (`float`) : احتمال الإسقاط (dropout) لطبقات RandLora.

randlora_alpha (`float`) : معامل التوسيع لطبقات RandLora، وغالبًا ما يكون هذا المعامل 20 ضعف الرتبة. نظرًا لأن معامل `randlora_alpha` كبير افتراضيًا، فقد يؤدي ذلك إلى عدم استقرار عددي، خاصة عندما تكون معدلات التعلم مرتفعة. إذا كان التدريب غير مستقر، ففكّر في تقليل معدل التعلم أو معامل `randlora_alpha`.

fan_in_fan_out (`bool`) : اضبط هذا على True إذا كانت الطبقة التي سيتم استبدالها تخزن الأوزان على شكل (fan_in, fan_out). على سبيل المثال، يستخدم gpt-2 `Conv1D` الذي يخزن الأوزان على شكل (fan_in, fan_out)، وبالتالي يجب ضبط هذا على `True`.

bias (`str`) : نوع الانحياز. يمكن أن يكون 'none' أو 'all' أو 'randlora_only'. إذا كان 'all' أو 'randlora_only'، فسيتم تحديث الانحيازات المقابلة أثناء التدريب. انتبه إلى أن هذا يعني أن النموذج لن ينتج نفس المخرجات التي كان سينتجها النموذج الأساسي دون تكييف، حتى عند تعطيل المحولات.

modules_to_save (`list[str]`) : قائمة بالوحدات التي يجب ضبطها لتكون قابلة للتدريب وحفظها في نقطة الفحص النهائية، باستثناء طبقات RandLora.

init_weights (`bool`) : ما إذا كان سيتم تهيئة أوزان طبقات RandLora باستخدام التهيئة الافتراضية. لا تغيّر هذا الإعداد إلا إذا كنت تعرف بالضبط ما تفعله.

layers_to_transform (`Union[list[int],int]`) : فهارس الطبقات التي سيتم تحويلها، إذا تم تحديد هذا الحُجج، فسيتم تطبيق تحويلات RandLora على فهارس الطبقات المحددة في هذه القائمة. إذا تم تمرير عدد صحيح واحد، فسيتم تطبيق تحويلات RandLora على الطبقة الموجودة عند هذا الفهرس.

layers_pattern (`str`) : اسم نمط الطبقة، يُستخدم فقط إذا كان `layers_to_transform` مختلفًا عن `None` وإذا لم يكن نمط الطبقة ضمن أنماط الطبقات الشائعة.

هذه هي فئة الإعدادات لتخزين إعدادات [RandLoraModel](/docs/peft/v0.22.0/ar/package_reference/randlora#peft.RandLoraModel).

الورقة: https://huggingface.co/papers/2502.00987.

## RandLoraModel[[peft.RandLoraModel]]

#### peft.RandLoraModel[[peft.RandLoraModel]]

```python
peft.RandLoraModel(model, peft_config: Union[PeftConfig, dict[str, PeftConfig]], adapter_name: str, low_cpu_mem_usage: bool = False, state_dict: Optional[dict[str, torch.Tensor]] = None)
```

[المصدر](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/randlora/model.py#L67)

**المعاملات:**

model ([PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel)) : النموذج الذي سيتم تكييفه.

config ([RandLoraConfig](/docs/peft/v0.22.0/ar/package_reference/randlora#peft.RandLoraConfig)) : إعدادات نموذج RandLora.

adapter_name (`str`) : اسم المُكيِّف، القيمة الافتراضية هي `"default"`.

low_cpu_mem_usage (`bool`، `optional`، القيمة الافتراضية `False`) : إنشاء أوزان مكيّف فارغة على جهاز meta. مفيد لتسريع عملية التحميل.

**يعيد:** `torch.nn.Module`

نموذج RandLora.

ينشئ نموذج RandLoRA من نموذج transformers مُدرَّب مسبقًا.

مثال:

```py
>>> from transformers import AutoModelForCausalLM
>>> from peft import RandLoraConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = RandLoraConfig(r=32)
>>> model = get_peft_model(base_model, config)
```

**الخصائص**:
- **النموذج** ([PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel)) -- النموذج الذي سيتم تكييفه.
- **peft_config** ([RandLoraConfig](/docs/peft/v0.22.0/ar/package_reference/randlora#peft.RandLoraConfig)): إعدادات نموذج RandLora.

