Отвореният код не работи за AI

Ясно е, че трябва да направим нещо относно начина, по който говорим за отворен код и откритост като цяло. Това е ясно най-малко от 2006 г., когато с право ме удариха, че извиках Google и Yahoo! за въздържане от отворен код. Както пише Тим О’Райли по това време, в облачната ера на отворения код, „една от мотивите за споделяне – необходимостта да дадете копие на изходния код, за да позволите на някой да изпълнява вашата програма – наистина е изчезнала“. Всъщност той продължи: „Не само че вече не е необходимо, но и в случая с най-големите приложения вече не е възможно.“

Тази невъзможност за споделяне съсипа определението за отворен код през последното десетилетие и сега засяга начина, по който мислим за изкуствения интелект (AI), наскоро отбеляза асът Майк Лукидес. Никога не е имало по-важен момент за сътрудничество по AI, но също така никога не е имало момент, когато това да е било по-трудно. Както Лукидес описва, “Поради техния мащаб, големите езикови модели имат значителен проблем с възпроизводимостта.”

Точно както с облака през 2006 г., компаниите, които вършат най-интересната работа в AI, може да се борят за „отворен код“ по начините, които традиционно очакваме. Въпреки това, това не означава, че те все още не могат да бъдат отворени по смислени начини.

Успех с този модел на вашия лаптоп

Според Лукидес, въпреки че много компании могат да твърдят, че участват в AI, всъщност има само три компании, които тласкат индустрията напред: Facebook, OpenAI и Google. Какво общо имат? Способността да управлявате масивни модели в мащаб. С други думи, те правят AI по начин, който вие и аз не можем. Те не се опитват да бъдат потайни; те просто имат инфраструктура и знания как да управляват тази инфраструктура, която вие и аз нямаме.

„Можете да изтеглите изходния код за OPT-175B на Facebook“, признава Лукидес, „но няма да можете да го тренирате сами на какъвто и да е хардуер, до който имате достъп.“ Той е твърде голям дори за университети и други изследователски институции. Все още трябва да вярвате на думата на Facebook, че прави това, което казва, че прави.” Това, въпреки Голямото съобщение на Facebook че е „споделяне на отворен предварително обучен трансформатор (OPT-175B) … за да позволи повече ангажираност на общността в разбирането на тази основополагаща нова технология“.

Това звучи страхотно, но както настоява Лукидес, OPT-175B “вероятно дори не може да бъде възпроизведен от Google и OpenAI, въпреки че имат достатъчно изчислителни ресурси.” Защо? „OPT-175B е твърде тясно свързан с инфраструктурата на Facebook (включително персонализиран хардуер), за да бъде възпроизведен в инфраструктурата на Google.“ Отново Facebook не се опитва да скрие какво прави с OPT-175B. Просто е наистина трудно да се изгради такава инфраструктура и дори онези, които имат парите и ноу-хау да го направят, ще построят нещо различно.

Това е точно точката, която Джеръми Заводни от Yahoo! и Крис ДиБона от Google направиха през 2006 г. в OSCON. Разбира се, те биха могли да отворят целия си код, но какво би могъл да направи някой с него, като се има предвид, че е създаден да работи в мащаб и по начин, който буквално не може да бъде възпроизведен никъде другаде?

Обратно към AI. Трудно е да се доверим на AI, ако не разбираме науката вътре в машината. Трябва да намерим начини да отворим тази инфраструктура. Лукидес има идея, въпреки че може да не задоволи най-ревностните хора от свободния софтуер/AI: „Отговорът е да се предостави безплатен достъп на външни изследователи и ранни осиновители, така че те да могат да задават свои собствени въпроси и да видят широкия диапазон от резултати.“ Но не като им дават достъп с ключова карта до центровете за данни на Facebook, Google или OpenAI, а чрез публични API. Това е интересна идея, която просто може да проработи.

Но това не е „с отворен код“ по начина, по който мнозина желаят. Това вероятно е ОК.

Мислете различно за отвореното

През 2006 г. бях щастлив да се разгневя срещу мега машините с отворен код (Google и Yahoo!), че не са по-отворени, но това обвинение беше и е почти безсмислено. От 2006 г., например, Google има пакетирана и отворена ключова инфраструктура, когато прави това задоволи своите стратегически нужди. Обадих се неща като TensorFlow и Kubernetes отворен източник на on-ramps (TensorFlow) или off-ramps (Kubernetes), или индустриални стандарти с отворен код за машинно обучение, които се надяваме да доведат до повече работни натоварвания на Google Cloud, или осигуряване на преносимост между облаци, за да се даде на Google Cloud повече възможности за победа над работните натоварвания . Това е умен бизнес, но не е с отворен код в смисъл на Pollyanna.

Нито Google е сам в това. Просто е по-добре с отворен код от повечето компании. Тъй като отвореният код е присъщо егоистичен, компаниите и хората винаги ще отварят код, който е от полза за тях или техните собствени клиенти. Винаги е било така и винаги ще бъде.

Що се отнася до гледната точка на Лукидес относно начините за смислено отваряне на AI въпреки разликата между трите гиганта на AI и всички останали, той не се застъпва за отворен код по начина, по който традиционно го правехме под Дефиниция на отворен код. Защо? Защото колкото и фантастично да е (и наистина е), то никога не е успявало да отговори на затруднението с облака с отворен код – както за създателите, така и за потребителите на софтуер – което DiBona и Zawodny изложиха на OSCON през 2006 г. Имахме повече от десетилетие и не сме по-близо до отговора.

Освен че някак сме.

Аз съм го твърдял имаме нужда от нов начин на мислене относно лицензирането с отворен код и мислите ми може да не са много различни от това, което Лукидес разсъждава относно ИИ. Ключът, както разбирам неговия аргумент, е да се осигури достатъчен достъп за изследователите, за да могат да възпроизвеждат успехите и неуспехите на това как работи конкретен AI модел. Те не се нуждаят от пълен достъп до целия код и инфраструктура, за да управляват тези модели, защото, както той твърди, това е по същество безсмислено. В свят, в който програмист може да стартира програма с отворен код на лаптоп и да прави производни произведения, има смисъл да се изисква пълен достъп до този код. Предвид мащаба и уникалната сложност на кода, работещ в Google или Microsoft днес, това вече няма смисъл, ако някога е имало. Във всеки случай не за всички облачни кодове, работещи в мащаб.

Трябва да се откажем от нашия бинарен изглед на отворен код. Никога не е бил особено полезен обектив, през който да виждате света с отворен код, и става все по-малко всеки ден, като се има предвид нашата облачна ера. Като компании и физически лица, нашата цел трябва да бъде да отворим достъпа до софтуер по начини, които са от полза за нашите клиенти и разработчици трети страни, за да насърчим достъпа и разбирането, вместо да се опитваме да преработим една десетилетна концепция за отворен код към облака. Не работи за отворен код, точно както не работи за AI. Време е да мислим различно.

Източник