ఇది చేయుటకు, స్టాన్ఫోర్డ్ మరియు వాషింగ్టన్ విశ్వవిద్యాలయంలోని పరిశోధకులు స్వేదనం అని పిలువబడే ఒక పద్ధతిని ఉపయోగించారు – ఇది చిన్న మోడళ్లను పెద్దవి ఉత్పత్తి చేసిన సమాధానాలను తీసివేయడానికి అనుమతిస్తుంది – గూగుల్ యొక్క AI రిజల్యూషన్ మోడల్, జెమిని 2.0 ఫ్లాష్ థింకింగ్ ప్రయోగాత్మక ఉపయోగించి S1 ను పరిమితం చేయడానికి. గూగుల్ సేవా నిబంధనలు సంస్థ యొక్క AI మోడళ్లతో “పోటీ చేసే మోడళ్లను అభివృద్ధి చేయడానికి” మీరు జెమిని యొక్క API ని ఉపయోగించలేరని గమనించండి. గార్డియన్ వ్యాఖ్య కోసం అభ్యర్థనతో గూగుల్‌కు చేరుకోండి, కాని వెంటనే తిరిగి వినలేదు.
పరిశోధకులు అలీబాబా క్లౌడ్ నుండి ఓపెన్ సోర్స్ మోడల్ అయిన QWEN2.5 పై S1 ఆధారిత S1. వారు మొదట మోడల్‌కు శిక్షణ ఇవ్వడానికి 59,000 ప్రశ్నల కొలనుతో ప్రారంభించారు, కాని పెద్ద డేటాసెట్ కేవలం 1000 తెల్లని సమితిపై “గణనీయమైన లాభాలను” ఉత్పత్తి చేయలేదని కనుగొన్నారు. పరిశోధకులు వారు కేవలం 16 NVIDIA H100 GPU ల మోడల్‌కు శిక్షణ ఇచ్చారని చెప్పారు .
ఎస్ 1 మోడల్ టెస్ట్ టైమ్ స్కేలింగ్ అనే టెక్నిక్‌ను కూడా ఉపయోగిస్తుంది, కాబట్టి మోడల్ జవాబును ఉత్పత్తి చేసే ముందు ఎక్కువసేపు “ఆలోచించవచ్చు”. కాగితంలో చెప్పినట్లుగా, మోడల్ యొక్క సమాధానాలకు “వేచి ఉండండి” ను జోడించడం ద్వారా పరిశోధకులు మోడల్‌ను తార్కికతను కొనసాగించమని బలవంతం చేశారు. “ఇది మోడల్‌ను డబుల్ చెక్ యొక్క సమాధానానికి దారి తీస్తుంది మరియు తరచూ తప్పు తార్కిక దశలను పరిష్కరిస్తుంది” అని పేపర్ పేర్కొంది.
ఓపెనైస్ O1 రెసొనెన్స్ మోడల్ ఇలాంటి విధానాన్ని ఉపయోగిస్తుంది, ఏదో బజ్జీ ఐ స్టార్టప్ డీప్సెక్ ఖర్చులలో కొంత భాగానికి శిక్షణ ఇవ్వబడిందని పేర్కొన్నందున దాని R1 మోడల్ ప్రారంభించడంతో పున ate సృష్టి చేయడానికి ప్రయత్నించింది. ఓపెనాయ్ అప్పటి నుండి డీప్సెక్ నిందితుడు పోటీదారుని నిర్మించడానికి మోడళ్ల నుండి సమాచారాన్ని స్వేదనం చేయడం మరియు ఉపయోగ నిబంధనలను విచ్ఛిన్నం చేయడం. S1 విషయానికి వస్తే, పరిశోధకులు S1 “గణిత ప్రశ్నలపై O1-Review ని మించిపోయారు” అని పేర్కొన్నారు.
చిన్న మరియు చౌకైన AI మోడళ్ల పెరుగుదల మొత్తం పరిశ్రమను పెంచుతుందని బెదిరిస్తుంది. ఓపెనై, మైక్రోసాఫ్ట్, మెటా మరియు గూగుల్ వంటి పెద్ద కంపెనీలు ఉపయోగించాల్సిన అవసరం లేదని వారు నిరూపించవచ్చు బిలియన్ డాలర్ల శిక్షణ AIఅయితే భారీగా నిర్మిస్తుంది డేటా సెంటర్లు వేలాది ఎన్విడియా జిపియులతో నిండి ఉన్నాయి.
