AI ਨੇ ਵਧਾਈ ਯੂਜ਼ਰਸ ਦੀ ਚਿੰਤਾ ! ਲੱਗਣ ਜਾ ਰਿਹੈ 'Language tax'

ਗੈਜੇਟ ਡੈਸਕ - ਜੇਕਰ ਤੁਸੀਂ ਹਿੰਦੀ ਜਾਂ ਅੰਗਰੇਜ਼ੀ ਤੋਂ ਇਲਾਵਾ ਕਿਸੇ ਹੋਰ ਭਾਸ਼ਾ 'ਚ AI ਨਾਲ ਗੱਲ ਕਰਦੇ ਹੋ ਤਾਂ AI ਚੈਟਬੋਟ ਦੀ ਵਰਤੋਂ ਕਰਨੀ ਮਹਿੰਗੀ ਪੈ ਸਕਦੀ ਹੈ। OpenAI, Anthropic, ਅਤੇ Google ਵਰਗੀਆਂ ਕੰਪਨੀਆਂ ਅਕਸਰ ਆਪਣੇ ਨਵੇਂ AI ਮਾਡਲਾਂ ਨੂੰ ਔਜ਼ਾਰਾਂ ਵਜੋਂ ਪੇਸ਼ ਕਰਦੀਆਂ ਹਨ। ਇਹ ਹਰ ਕਿਸੇ ਲਈ ਇਕੋ ਜਿਹਾ ਕੰਮ ਕਰਦੇ ਹਨ, ਭਾਵੇਂ ਉਹ ਕਿੱਥੇ ਰਹਿੰਦੇ ਹਨ ਜਾਂ ਕਿਹੜੀ ਭਾਸ਼ਾ ਬੋਲਦੇ ਹਨ ਪਰ ਖੋਜਕਰਤਾਵਾਂ ਦੇ ਨਵੇਂ ਅੰਕੜਿਆਂ ਤੋਂ ਪਤਾ ਚੱਲਦਾ ਹੈ ਕਿ ਹਿੰਦੀ, ਅਰਬੀ ਅਤੇ ਚੀਨੀ ਵਰਗੀਆਂ ਭਾਸ਼ਾਵਾਂ 'ਚ AI ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੇ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਅਸਲ 'ਚ AI ਨਾਲ ਅੰਗਰੇਜ਼ੀ 'ਚ ਗੱਲ ਕਰਨ ਵਾਲਿਆਂ ਨਾਲੋਂ ਜ਼ਿਆਦਾ ਭੁਗਤਾਨ ਕਰਨਾ ਪੈ ਸਕਦਾ ਹੈ।

AI ਮਾਡਲ ਭਾਸ਼ਾ ਨੂੰ ਕਿਵੇਂ ਪ੍ਰਕਿਰਿਆ ਕਰਦਾ ਹੈ, ਇਸ 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹੋਏ, ਹਿੰਦੀ 'ਚ ਉਹੀ ਪ੍ਰੋਂਪਟ (ਨਿਰਦੇਸ਼) ਅੰਗਰੇਜ਼ੀ ਨਾਲੋਂ ਕਾਫ਼ੀ ਜ਼ਿਆਦਾ ਟੋਕਨ ਤਿਆਰ ਕਰ ਸਕਦਾ ਹੈ - AI ਸਿਸਟਮ ਦੁਆਰਾ ਟੈਕਸਟ ਨੂੰ ਪੜ੍ਹਨ ਅਤੇ ਸਮਝਣ ਲਈ ਵਰਤੀਆਂ ਜਾਂਦੀਆਂ ਇਕਾਈਆਂ। ਸਿੱਧੇ ਸ਼ਬਦਾਂ 'ਚ, ਹਿੰਦੀ 'ਚ ਇਕੋ ਗੱਲ ਕਹਿਣ ਨਾਲ ਅੰਗਰੇਜ਼ੀ ਨਾਲੋਂ AI ਟੋਕਨਾਂ ਦੀ ਕੀਮਤ ਜ਼ਿਆਦਾ ਪੈਂਦੀ ਹੈ। ਇਸ ਕਰਕੇ, ਉਨ੍ਹਾਂ ਲੋਕਾਂ ਲਈ AI ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਮਹਿੰਗਾ ਹੋ ਜਾਂਦਾ ਹੈ ਜੋ ਅੰਗਰੇਜ਼ੀ ਨਹੀਂ ਬੋਲਦੇ।

ਖੋਜਕਰਤਾ ਅਤੇ ਡਿਵੈਲਪਰ ਅਕਸਰ ਇਸ ਨੂੰ ਭਾਸ਼ਾ ਟੈਕਸ ਵਜੋਂ ਦਰਸਾਉਂਦੇ ਹਨ, ਜਾਂ ਇਸ ਨੂੰ ਇਕ ਲੁਕਵੀਂ ਲਾਗਤ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ ਕਿਉਂਕਿ AI ਮਾਡਲ ਵੱਖ-ਵੱਖ ਭਾਸ਼ਾਵਾਂ ਨੂੰ ਕਿਵੇਂ ਪ੍ਰਕਿਰਿਆ ਕਰਦੇ ਹਨ। ਕੁਝ ਹਫ਼ਤੇ ਪਹਿਲਾਂ, ਓਪਨਏਆਈ ਖੋਜਕਰਤਾ ਅਰਨ ਕੋਮਾਤਸੁਜ਼ਾਕੀ ਨੇ ਇਕ ਪ੍ਰਯੋਗ ਦਾ ਵਰਣਨ ਕੀਤਾ ਜਿਸ 'ਚ ਓਪਨਏਆਈ ਅਤੇ ਐਂਥ੍ਰੋਪਿਕ ਦੇ ਟੋਕਨਾਈਜ਼ਰ ਵੱਖ-ਵੱਖ ਭਾਸ਼ਾਵਾਂ 'ਚ ਟੈਕਸਟ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦੇ ਸਨ। ਏਆਈ ਖੋਜਕਰਤਾ ਰਿਚ ਸਟਨ ਦੇ ਮਸ਼ਹੂਰ ਲੇਖ "ਦਿ ਬਿਟਰ ਲੈਸਨ" ਨੂੰ ਇੱਕ ਬੈਂਚਮਾਰਕ ਵਜੋਂ ਵਰਤਦੇ ਹੋਏ, ਕੋਮਾਤਸੁਜ਼ਾਕੀ ਨੇ ਟੈਕਸਟ ਨੂੰ ਕਈ ਭਾਸ਼ਾਵਾਂ 'ਚ ਅਨੁਵਾਦ ਕੀਤਾ ਅਤੇ ਦੇਖਿਆ ਕਿ ਵੱਖ-ਵੱਖ ਏਆਈ ਸਿਸਟਮਾਂ ਨੇ ਕਿੰਨੇ ਟੋਕਨ ਤਿਆਰ ਕੀਤੇ ਹਨ।

ਨਤੀਜਿਆਂ ਨੇ ਅੰਗਰੇਜ਼ੀ ਅਤੇ ਹੋਰ ਭਾਸ਼ਾਵਾਂ 'ਚ ਇਕ ਮਹੱਤਵਪੂਰਨ ਅੰਤਰ ਪ੍ਰਗਟ ਕੀਤਾ। ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਅਨੁਸਾਰ, ਓਪਨਏਆਈ ਦੇ ਟੋਕਨਾਈਜ਼ਰ 'ਤੇ ਹਿੰਦੀ ਟੈਕਸਟ ਨੂੰ ਅੰਗਰੇਜ਼ੀ ਨਾਲੋਂ 1.37 ਗੁਣਾ ਜ਼ਿਆਦਾ ਟੋਕਨਾਂ ਦੀ ਲੋੜ ਸੀ। ਇਸ ਦੌਰਾਨ, ਐਂਥ੍ਰੋਪਿਕ ਦੇ ਕਲਾਉਡ ਟੋਕਨਾਈਜ਼ਰ 'ਤੇ ਇਹ ਅੰਕੜਾ 3.24 ਗੁਣਾ ਵੱਧ ਗਿਆ। ਕਲਾਉਡ 'ਤੇ, ਅਰਬੀ ਨੂੰ 2.86 ਗੁਣਾ ਜ਼ਿਆਦਾ ਟੋਕਨਾਂ ਦੀ ਲੋੜ ਸੀ, ਜਦੋਂ ਕਿ ਚੀਨੀ ਨੂੰ 1.71 ਗੁਣਾ ਜ਼ਿਆਦਾ ਟੋਕਨਾਂ ਦੀ ਲੋੜ ਸੀ।