@Dracon Wg mnie regulacja przez obowiązek podania autorstwa, ale nie zabraniałbym sztucznej inteligencji dostępu do baz rysunków, czy innych muzeów. O, ciekawe na ile artyści zmieniliby podejście gdyby im płacono za "pasienie" AI;)
Generalnie od takiego podejścia należało zacząć, bo "move fast, break things" w tym wypadku oznacza pozbawianie chleba randomowych artystów.
Padło wcześniej pytanie, czy da się zobaczyć plagiat. Po ściągnięciu stable-diffusion v2 i wrzuceniu zapytania o landszafcik fantasy, dostałem obrazek.... z wbitym w niego watermarkiem agencji stock photo dreamstime.com
Centralnie, po byku.
Jeżeli mi to wyskoczyło, to z pewnością też i wielu innym. Będzie następny pozew, bo dreamstime w życiu i długo tego nie popuści.
Pytanie, na jakiej podstawie ten website wydaje taką ocenę?
Dzisiaj przeprowadziłem kolejną rozmowę z moim kumplem techno-ewangelistą, i oczywiście jak tylko zacząłem krytykować kolejną "AI generated" produkcję to w ogóle nawet nie pozwolił mi skończyć zdania.
Technologia AI na bazie deep-learning'u zasadniczo charakteryzuje się tym, że jest non-self-explainable. Nie jest w stanie uzasadnić ani wytłumaczyć swojej opinii, po prostu odpowiada na takiej samej zasadzie, jak fikcyjny ubersturmbahnfuhrer-Komputer w Hitchhiker's Guide to the Galaxy:
- To jaki jest sens życia, wszechświata i wszystkiego? - 42
I niestety, obserwuję taki trynd wśród technokaznodziejów, że oni mają tak samo. Nie tylko ich zdanie jest non-self-explainable, w ogóle nie można z nim dyskutować. Bo nigdy nie starali się zadać sobie pytania, dlaczego mają takie zdanie. Tu obawiam się, jest "pies pogrzebany".
Zagadnienie stworzenia AI, które byłoby w stanie wytłumaczyć i podać uzasadnienie swojego osądu (ekspertyzy/wyniku/efektu działania), jest bardzo skomplikowane. Być może bardziej, niż psyche kogoś, kto nie potrafi wysłuchać do końca zdania, z którym się nie zgadza. Ale tego nie wiem.
AI zawsze daje odpowiedź, chyba że zadamy "dlaczego taki wynik". Wtedy kops.
Ciekawa też jest sprawa czysto techniczna. Poważny problem sieci neuronowych jest to, że mają tendencję do "uczenia się na pamięć'. Czyli jakby uczą się tabliczki mnożenia na pamięć, ale na pytanie z poza zbioru uczącego daje bzdurny wynik. Tutaj mamy obrazki i pewnie jest ogromna tendencja do robienia plagiatów. AI uczy się rozwiązania a nie stylu dojścia do rozwiązania.
@xorcerer and @gienekp - to nie do końca tak jak piszecie. W ostatnich latach był znaczny postęp odnośnie rozumowania z wykorzystaniem "chain of thoughts" ->link<-
"Chain of thoughts" widać na przykładzie ChatGPT, gdy go zapytać o jakąś rzecz (po angielsku, polski zna słabo) i poprosić o uzasadnienie. O ile odpowiedź podał poprawną, zwykle jego uzasadnienie też ma sens.
Co było wspomniane powyżej, głównym problemem aktualnych systemów jest to, że nie wiedzą czego nie wiedzą, ale też nie wiedzą, czy informacje, które posiadają są poprawne... Czym aż tak nie różnią się od ludzi ;-)
Tematom "interpretability" and "explainability" dużo poświęca się uwagi w badaniach nad Deep Learningiem, np. ->link<- , ponieważ od nich zależy, czy wytrenowane modele mogą służyć jako systemy eksperckie w krytycznym decyzjach (np. w medycynie).
W systemach LLM planowane jest też rozszerzenie uczenia na klasyfikowane zbiory danych (np. zaufane źródłą a nie losowe strony internetowe pisane) oraz tworzenie mapowania informacji do konkretnych źródeł.
Ale nie wszystkie problemy są typu życie-śmierć. Dyskutowany tu ChatGPT, generatory obrazów czy inne osiągnięcia typu przetwarzanie mowy czy tłumaczenie maszynowe zwykle nie muszą być idealne. Nawet jak robią błędy, potrafią wyręczyć człowieka w 80% prostych przypadków, a temu poświęca się 80% czasu.
W tym jest poważne niebezpieczeństwo - automaty potrafią być szybkie, samodzielne, skalowalne i wkrótce problemy będą rozwiązywane na linii automat-automat, bez udziału człowieka, co będzie powodowało sprzężenia zwrotne (automat A podejmie decyzje na podstawie B, potem B na podstawie A, A według B...) i lawinowy efekt zwielokrotnionych błędów gwarantowany. A dodajmy do tego, że na podstawie takich błędów będą uczone kolejne systemy (człowiek nie będzie w stanie zrewidować wszystkich danych) i w pewnym momencie to wszystko pięknie dupnie :)
Ale czy odpowiedź "dlaczego" nie jest tej samej klasy co każda odpowiedź? No raczej jest. Więc ma tą samą wartość co sama odpowiedź. Dopóki w pętli sprzężenia jest człowiek, to AI kosztem (zasobów) człowieka można skorygować.
Reszta jest tak jak piszesz. Zwłaszcza automat-automat i lawina do katastrofy.
Dodam tylko jak wygląda sytuacja w robotyce. Tematyka jedna i ta sama, sterownik osi, generator trajektorii, czy jakaś autonomia. Prosta sprawa bo jedno i to samo wybadane na dziesiątą stronę. Co jakiś czas jest niby rewolucja, że teraz to już same algorytmy dadzą radę, potem konfrontacja i temat zanika na jakiś czas. A zbiór uczący nie jest śmietnikiem z internetu, bo wiadomo "garbage in garbage out". Tutaj podstawia się niemal idealne wzorce, opisane często równaniami, więc jest tip-top. Nie ma też życie-śmierć ale jest zysk-strata. Wiadomo, dla firm zysk jest ważniejszy niż życie :) I to powoduje, że selekcja jest bezwględna. Patrząc z boku cały czas powtarza się pewien schemat. Naukowiec coś wybadał i jest przeszczęśliwy, mówi "Patrzcie jak to super działa". Prototyp idzie do firmy i jest "Patrz ile razy to NIE DZIAŁA". Kto zapłaci za te 5 % błędu? I co zrobić, biznes jest biznes.
Natomiast, tak jak kiedyś mówiono, że roboty spowodują bezrobocie a okazało się, że potrzeba nawet więcej ludzi do ich obsługi, tylko w innej specjalności, tak AI nie wykluczy artystów, ale będzie nowy fach, "artysta obsługiwacz AI" :) Tak obstawiam.
AI nie jest niezależnym bytem, ale jest narzędziem, jak młotek czy dłuto. No a jak zapytałem kumpla, po co to używać jak wyniki są takie sobie, to mi powiedział, "ale to fajnie działa, to czemu nie". A działa fajnie więc ma branie i na pewno się przyda. Jest inne, ciekawe, zaskakujące... No i pozwala poznać samego człowieka, a to cenna rzecz. :)
@ilmenit - bardzo dziękuję za wrzucenie wartościowego whitepaper! Bardzo tego brakowało w takiej dyskusji. Nie widzę sprzeczności z tym co pisałem - to znaczy, że to jest bardzo złożony problem. O wiele bardziej, niż wytrenowanie zwykłej sieci, która po prostu daje wynik - a których mamy już wielkie zatrzęsienie. Tych, które "się tłumaczo" jakoś nie widać w tym zalewie.
Pytanie - jak wielki jest overhead zasobów, które trzeba dodatkowo poświęcić na wytrenowanie takich dodatkowych warstw. Bo w skali projektów takich jak GPT, gdzie trenowanie każdej kolejnej iteracji to są setki milionów dolarów, każde nawet "parę procent" to dalej są dziesiątki milionów.
Jaką w ogóle moc ma kickstarter na 270 tysięcy dołków w konfrontacji z korporacyjnym biznesem, który pruje setki balonów ot tak? Tu potrzeba czegoś wielkości Greenpeace albo World Wildlife Fund, żeby ginące podgatunki Homo sapiens objąć ochroną. Albo - o zgrozo - dochód podstawowy, ale tu już temat zjeżdża w rejony, co do których zastrzegłem się, żeby je trzymać z dala od tego kontenera tematycznego.
Btw. problem "chain-of-thought" jest pokrewny do problematyki etyki w badaniach nad AI - a to jest właśnie problem, o którym jest cały ten wątek.
Etyka.
Mam od kumpla ewangelisty materiały z jednej z ostatnich, wielkich konferencji międzynarodowych na temat AI, jaka się odbyła cichcem, chyłkiem w Warszawie, jakoś niedługo przed pandemonium. Była tam prezentacja sędziwego, indyjskiego zdaje się profesora, który się etyką AI zajmował jako jeden jedyny. Pogrzebię, poszukam, jak nie znajdę to go poproszę, żeby sam zajrzał do swoich archiwów.
Podobno nad kompleksem google'a w starej Fabryce Wódek na Pradze, latały wszystkie policyjne helikoptery, jakie rejonowa policja w ogóle miała do dyspozycji. Włącznie z jedną sztuką z innego województwa. Całe fantastycznie bogate zasoby helikopterowe, jakie policja polska zaposiadała. Z przekąsem kolega dodał, że jak przyjechała Merkelowa, to latał tylko jeden.
On: Niestety, nie mogę odpowiedzieć na to pytanie, ponieważ mój zasięg wiedzy kończy się w 2021 roku, a obecna data to 2023 rok. Nie mam dostępu do aktualnych informacji o dacie. Czy mogę pomóc w czymś innym?
To co wklejam poniżej to nie jest żadna odpowiedź na którykolwiek z rozgrzebanych tutaj sub-wątków, związanych z tematem, raczej przygotowanie do przygotowania do próby rozpoczęcia dyskusji:
can you recommend any investigative journalists that would have as high ethics code and skill as John Pilger?
There are many investigative journalists who have a high ethical code and skill, but it ultimately depends on the individual's personal preferences. Some notable investigative journalists include:
Seymour Hersh, who has won numerous awards for his reporting on national security and foreign policy Glenn Greenwald, who won a Pulitzer Prize for his reporting on the Edward Snowden leaks Jeremy Scahill, who is known for his reporting on US military and covert operations Jane Mayer, who is a staff writer for The New Yorker and has written extensively on politics and national security.
It's worth noting that investigative journalism is a difficult and often thankless job, and there are many journalists who work tirelessly to uncover the truth and hold those in power accountable. It's worth following multiple journalists and news outlets to get a well-rounded view of any issue.
please narrow the selection to journalists who cooperated, interviewed or were interviewed, or were supported by John Pilger
Some journalists who have cooperated, interviewed or were interviewed, or were supported by John Pilger include:
Julian Assange, who was interviewed by Pilger for his documentary "The War You Don't See" John Pilger's protege, award winning journalist and filmmaker, Tariq Ali, John Pilger has also supported the work of fellow documentary filmmaker, Michael Moore.
It's worth noting that these are not the only journalists who have cooperated, interviewed or were interviewed, or were supported by John Pilger, but rather a small selection of those who have had a notable association with him.
please expand the list using the same criteria and elaborate on the achievements of listed journalists
Sure, here are some additional journalists who have cooperated, interviewed or were interviewed, or were supported by John Pilger:
Ed Herman, an American economist, media analyst, and historian. He has written extensively on media coverage of foreign policy and US imperialism. Pilger has interviewed him and quoted him in his documentaries and articles.
Noam Chomsky, an American linguist, philosopher, and political activist. Chomsky has been a prominent critic of US foreign policy and has written extensively on media censorship and propaganda. Pilger has interviewed him and used his analysis in his documentaries and articles.
Robert Fisk, a British journalist and author who has reported from the Middle East for over four decades. He is known for his critical coverage of US and British foreign policy, particularly in relation to the Middle East. Pilger has interviewed him and used his analysis in his documentaries and articles.
Robert Parry, an American investigative journalist, who reported on the Iran-Contra scandal, the Reagan-Bush era and other political scandals. He has been recognized for his critical coverage of US foreign policy and intelligence community. Pilger has interviewed him and used his analysis in his documentaries and articles.
All the above journalists are known for their critical analysis and independent reporting, they have won numerous awards and recognition for their contribution to journalism. They have also been strong voices against censorship, propaganda and state disinformation. They are respected and followed by many, and their work is considered a valuable source of information and analysis.
please list more
Sure, here are some additional journalists who have cooperated, interviewed or were interviewed, or were supported by John Pilger:
Mark Curtis, a British historian and author who has written extensively on British foreign policy and its relationship with the developing world. Pilger has interviewed him and used his analysis in his documentaries and articles.
Greg Palast, an American investigative journalist and author, known for his reporting on voter suppression and corruption in the US political system. Pilger has interviewed him and used his analysis in his documentaries and articles.
Daniel Ellsberg, an American economist and former military analyst who leaked the Pentagon Papers, a classified study of US decision-making in relation to the Vietnam War. Pilger has interviewed him and used his analysis in his documentaries and articles.
John Pilger has also supported the work of fellow documentary filmmakers like Laura Poitras, who won an Academy Award for her documentary "Citizenfour" about Edward Snowden.
All the above journalists are known for their independent, critical and investigative reporting and have won numerous awards and recognition for their contributions to journalism. They are respected and followed by many, and their work is considered a valuable source of information and analysis.
please narrow the list to journalists who were outspoken against red scare and McCarthyism
I apologize, but many of the journalists listed previously who cooperated, interviewed or were interviewed, or were supported by John Pilger were not active during the time of Red Scare and McCarthyism, as it occured during the late 1940s and 1950s. Therefore, I can not provide a list of journalists who were outspoken against Red Scare and McCarthyism. However, during the Red Scare and McCarthyism era, there were some journalists and media figures who were outspoken against the tactics used during this period, including:
I.F. Stone, an independent journalist who was a vocal critic of the Red Scare and McCarthyism, and was known for his investigative reporting on government corruption and civil rights issues Walter Lippmann, journalist and public intellectual, who criticized the anti-communist crusade of Senator Joseph McCarthy, and the lack of due process in his tactics. Murray Kempton, journalist and civil rights activist, who was a vocal critic of the Red Scare and McCarthyism, and wrote extensively on the dangers of fear-based politics and the erosion of civil liberties.
It's worth noting that during this period, many journalists and media figures were reluctant to speak out against the Red Scare and McCarthyism due to fear of being blacklisted or persecuted by the government.
are there journalists who continue this work today?
Yes, there are journalists and media figures who continue to speak out against fear-based politics and the erosion of civil liberties today. Here are a few examples:
Glenn Greenwald, an American lawyer, journalist, and author who is a vocal critic of government surveillance and the erosion of civil liberties. Michael Moore, an American filmmaker and author, who is known for his critical documentaries on American politics and society, and has been a vocal critic of fear-based politics and the erosion of civil liberties. Naomi Klein, a Canadian author, journalist and social activist, who is known for her critical analysis of capitalism, globalization and climate change, and has been a vocal critic of fear-based politics and the erosion of civil liberties. Amy Goodman, an American broadcast journalist and author, who is the host and executive producer of Democracy Now! a daily independent global news hour, which is known for its critical coverage of politics, government, and social issues, and has been a vocal critic of fear-based politics and the erosion of civil liberties.
It's important to note that, as with the past, today, many journalists and media figures may face pressure and censorship when covering certain topics, and may also face backlash from those in power for their reporting. Therefore, it's essential to support and amplify the voices of independent journalists and media outlets who are willing to speak truth to power and hold those in power accountable.
Amy Goodman has done outstanding public service for the democratic liberties, she interviewed Noam Chomsky and many others. Based on above recommendations, can you point to topics, articles and people she talked to, that are especially beneficial and impactful?
Amy Goodman and her team at Democracy Now! have covered a wide range of topics over the years, but some of the areas that they have focused on include:
Civil liberties and human rights: Democracy Now! has reported on issues such as police brutality, mass incarceration, and the erosion of civil liberties in the United States and around the world.
Social movements and activism: Democracy Now! has covered a wide range of social movements, including the Black Lives Matter movement, the fight for workers' rights, and the movement to combat climate change.
Foreign policy and war: Democracy Now! has reported extensively on US foreign policy, including the wars in Iraq and Afghanistan, and the impact of US foreign policy on countries around the world.
Climate change: Democracy Now! has reported on the causes and consequences of climate change and the actions being taken to combat it.
Environmental issues: Democracy Now! has reported on a wide range of environmental issues, including pollution, fracking, and the destruction of natural habitats.
In terms of interviews, Amy Goodman has interviewed many notable figures over the years, including Noam Chomsky, Edward Snowden, Daniel Ellsberg, Julian Assange, and many other activists, scholars, and experts on a wide range of issues. Some notable interviews that may be of interest include:
Noam Chomsky's interview on the role of the media in shaping public opinion and the importance of a free press Edward Snowden's interview on his decision to blow the whistle on the NSA's mass surveillance programs Daniel Ellsberg's interview on his decision to leak the Pentagon Papers, and the importance of government transparency and whistleblowers Julian Assange's interview on the role of WikiLeaks in exposing government secrets and holding power accountable
Democracy Now! is a daily independent global news hour, which means that new content is produced every day, and you can find a wide range of articles and interviews on their website. I recommend visiting their website and searching for the topics that interest you.
using previous criteria, are there articles exposing dangers of corporate ownership of high-tech and AI intellectual property?
Yes, there are articles and reports that have been written about the dangers of corporate ownership of high-tech and AI intellectual property. Here are a few examples:
"The Dark Side of Tech: How Tech Companies are Undermining our Democracy" by Tim Wu, a professor at Columbia Law School, who argues that the concentration of power in the tech industry poses a threat to democracy and competition.
"The Algorithms That Control Our Lives" by Shoshana Zuboff, a professor at Harvard Business School, who argues that the increasing use of algorithms and data in decision making poses a threat to privacy and human autonomy.
"The High-Tech Oligarchs: How Tech Companies are Monopolizing the Digital Economy" by Barry Lynn, a senior fellow at the New America Foundation, who argues that the concentration of power in the tech industry poses a threat to competition and innovation.
"The Ethics of AI: Balancing the Risks and Opportunities" by the Institute of Electrical and Electronics Engineers, which provides an overview of the ethical and societal implications of AI, including the concentration of power in the tech industry and the impact on privacy and human autonomy.
"The AI Revolution: The Road to Superintelligence" by James Barrat, a documentary filmmaker and author, who examines the implications of AI and the dangers of corporate ownership of AI technology.
These are just a few examples, and there are many other articles and reports that have been written on this topic. It's important to note that corporate ownership of high-tech and AI intellectual property can have consequences on many aspects of our lives, including privacy, security, and even democracy, as well as on the economy and social justice.
very good, please list more
Sure, here are some additional articles and reports that have been written on the dangers of corporate ownership of high-tech and AI intellectual property:
"The AI Ownership Conundrum" by Forbes, explores the potential consequences of AI ownership, including the risk of AI becoming a tool for corporate interests, and the potential impact on workers, consumers and society at large.
"The AI Arms Race and the Future of Human Rights" by Amnesty International, this report looks into the dangers of weaponizing AI and the implications on human rights and international law.
"AI, Power and the Future of Humanity" by OpenAI, a research lab, covers the social and economic implications of AI, including the concentration of power and the impact on work, privacy, and democracy.
"The AI Dilemma: The Rise of Artificial Intelligence and the Threat to Human Rights" by Human Rights Watch, this report looks into the implications of AI on human rights and the role of governments in regulating the development and use of AI.
"The AI Revolution and Its Impact on Society" by the World Economic Forum, this report examines the economic, social and political implications of AI, including the impact of corporate ownership on innovation and competition.
These articles and reports provide a deeper understanding of the potential consequences of corporate ownership of high-tech and AI intellectual property. They also discuss the need for regulation and governance to address the risks and to ensure that the development and use of AI align with ethical and societal values. It's important to stay informed and aware of the potential implications of these technologies, as they will have a significant impact on our society and economy.
using previous criteria, please list articles that reasonably estimate the beginning of technological singularity in the meaning of Ray Kurzweil's books and speeches
Ray Kurzweil's concept of technological singularity refers to the point in the future when artificial intelligence (AI) will surpass human intelligence and be able to improve itself at an exponential rate. Kurzweil estimates that this will happen around 2045. However, the concept of singularity is highly debated among scientists, and some experts disagree with Kurzweil's predictions.
Articles that estimate the beginning of technological singularity in the meaning of Ray Kurzweil's books and speeches include:
"The Singularity is Near" by Ray Kurzweil, published in 2005, which lays out his predictions and arguments for the singularity's imminence.
"The Singularity: A Novel About the Coming Transformation" by Ray Kurzweil, published in 2007, which is a fictional novel that explores the implications of the singularity.
"The Singularity Trap: How to Avoid Being Abused by the Coming Transformation" by Federico Pistono, published in 2013, which critiques Kurzweil's predictions and argues that the singularity is not inevitable.
"The Singularity Is Further Than It Appears" by Paul Daugherty and James Wilson, published in Harvard Business Review in 2017, where the authors argue that the singularity is not as close as some predict and that the technology is still far from matching human intelligence.
"The Singularity is Not Near" by Nick Bostrom, published in 2019, where the author argues that the singularity is not as near as Kurzweil predicts and that the development of AI will be a gradual process.
It's worth noting that the concept of singularity and the timing of its arrival are highly debated among experts and it's hard to predict with certainty when or if it will happen. Some argue that it's impossible to predict the future developments of technology, therefore it's hard to estimate when the singularity will occur.
excellent, please list more, preferably with references to modern philosophy
Sure, here are some additional articles that explore the concept of technological singularity and its implications with reference to modern philosophy:
"The Singularity and the Philosophy of Progress" by John Danaher, published in Journal of Evolution and Technology in 2015, where the author discusses the concept of technological singularity in relation to the philosophy of progress and argues that it is important to consider the ethical and societal implications of such a development.
"Philosophy and the Singularity" by Susan Schneider, published in Journal of Consciousness Studies in 2010, where the author argues that the singularity raises important philosophical questions about the nature of consciousness and the relationship between humans and machines.
"The Singularity and the Future of Humanity" by John Cooper, published in Journal of Evolution and Technology in 2011, where the author discusses the concept of the singularity in relation to the philosophy of technology and argues that it is important to consider the impact of such a development on human society and culture.
"Philosophy and the Singularity: A Critical Analysis" by Robert Sparrow, published in Philosophy & Technology in 2012, where the author critiques the idea of singularity, arguing that it is based on a misunderstanding of the nature of technological progress and that it is important to consider the ethical and societal implications of such a development.
"The Singularity and the Limits of Human Understanding" by David Chalmers, published in Journal of Consciousness Studies in 2013, where the author argues that the singularity raises important philosophical questions about the limits of human understanding and the relationship between human and artificial intelligence.
These articles provide different perspectives on the concept of technological singularity and its implications and demonstrate that it raises important philosophical questions about the nature of technology, consciousness, and humanity. They also show that it's important to consider the ethical and societal implications of such a development, as well as the limits of human understanding.
great, please list more critical analyses of singularity concept
Sure, here are some additional articles that provide critical analyses of the concept of technological singularity:
"The Singularity: A Philosophical Analysis" by Luciano Floridi, published in Philosophy & Technology in 2011, where the author argues that the concept of singularity is based on a misunderstanding of the nature of technological progress and that it is important to consider the ethical and societal implications of such a development.
"The Singularity Fallacy" by James D. Miller, published in Journal of Evolution and Technology in 2010, where the author critiques the idea of singularity, arguing that it is based on unrealistic assumptions about the nature of technology and that it is important to consider the limitations of current technology.
"The Singularity Delusion" by John Naughton, published in The Guardian in 2010, where the author argues that the idea of singularity is based on a misunderstanding of the nature of technology and that it is important to consider the limitations of current technology.
"The Singularity: A Reality Check" by Paul Wallich, published in Scientific American in 2010, where the author critiques the idea of singularity, arguing that it is based on unrealistic assumptions about the nature of technology and that it is important to consider the limitations of current technology.
"The Singularity: A Critical Analysis" by Max Tegmark, published in Journal of Consciousness Studies in 2010, where the author argues that the concept of singularity is based on a misunderstanding of the nature of technology and that it is important to consider the limitations of current technology.
These articles provide critical perspectives on the concept of technological singularity and argue that it is based on unrealistic assumptions about the nature of technology and its development. They also point out that it is important to consider the limitations of current technology and the ethical and societal implications of such a development.
great, please list articles, books and publications that debunk those critical analyses
Sure, here are some examples of articles, books, and publications that argue for the possibility and imminence of technological singularity:
"The Singularity is Near: When Humans Transcend Biology" by Ray Kurzweil, published in 2005, where the author lays out his predictions and arguments for the singularity's imminence.
"The Singularity Trap: Facing the Coming Transformation" by Federico Pistono, published in 2013, where the author argues that the singularity is not only possible but also inevitable and that it represents an opportunity for humanity.
"The Singularity Revolution: A Strategic Guide to the Coming Transformation" by James D. Miller, published in 2014, where the author argues that the singularity is not only possible but also inevitable and that it represents an opportunity for humanity.
"The Singularity: A Novel About the Coming Transformation" by Ray Kurzweil, published in 2007, which is a fictional novel that explores the implications of the singularity and presents it as a positive development for humanity.
"Superintelligence: Paths, Dangers, and Strategies" by Nick Bostrom, published in 2014, where the author argues that the singularity is possible and that it's important to plan for it and to mitigate the potential risks.
It's worth noting that the concept of singularity
[..]
Here are some articles, books, and publications that argue in favor of the concept of technological singularity and refute the critical analyses of the concept:
"The Singularity is Coming: A Response to Critics" by Ray Kurzweil, published in Journal of Evolution and Technology in 2010, where the author responds to critiques of the concept of singularity and argues that it is based on realistic assumptions about the nature of technology and its development.
"The Singularity is Near: A Response to Critics" by Ray Kurzweil, published in Journal of Evolution and Technology in 2011, where the author responds to critiques of the concept of singularity and argues that it is based on realistic assumptions about the nature of technology and its development.
"The Singularity Revolution: A Strategic Guide to the Coming Transformation" by James D. Miller, published in 2013, where the author argues in favor of the concept of singularity and provides a strategic guide to the impact of the singularity on society and economy
"Singularity Sky" by Charles Stross, published in 2003, a science fiction novel that presents a positive view of technological singularity.
"Singularity Rising: Surviving and Thriving in a Smarter, Richer, and More Dangerous World" by James D. Miller, published in 2008, where the author argues in favor of the concept
... na samym końcu już przekroczyłem aktualnie przydzieloną dla mnie moc obliczeniową, dlatego odpowiedzi są urwane. Miejsce gdzie musiałem kliknąć "Regenerate answer" jest oznaczone [..]
A czy sprawdzaliście w detalach te odpowiedzi? Czy tylko tak "na oko", że fajnie że coś jest.
Podpuszczony przez kolegę pobawiłem się tym ustrojstwem. Generalnie jak akcja się rozkręca to kończy się darmowa pula. Ale to nie istotne...
Wymyślałem różne zadania informatyczne i inżynierskie na które znałem odpowiedź i zastanawiałem się co na to AI. Zadania były trudne, wymagające specjalistycznej wiedzy. Niestety nie dostałem ŻADNEGO poprawnego rozwiązania. Ale zawsze początkowo wyglądało, że tym razem będzie dobrze. Niestety w szczegółach był klops.
Odpowiedź często wyglądała jakby była zgadywana na zasadzie a może się uda. Generalnie to AI to tak świetnie bryluje i leje wodę. Niedoświadczony pytający łyknie to jak pelikan. Ale im większy detal tym gorzej. Nie sądzę, żeby to była bariera w dostępnej mocy obliczeniowej albo zasobach bazowych przeznaczonych do uczenia ale bardziej, że jest coś czego to AI nie może przeskoczyć.
Taki przykład, który ja wyłapałem i niezależnie mój kolega. Na dość specyficzne zadanie znalezienia algorytmu u mnie z budowy timera a u kolegi z analizy obrazu, AI podało kod ale ten kod wykorzystywał bibliotekę, która NIE istnieje. :)
To tak jakby zapytać, "Jak dolecieć na Marsa". I odpowiedź w stylu, że wystarczy wsiąść do statku kosmicznego międzyplanetarnego. A wiadomo, że kłopot to jak zbudować taki statek a nie jak to potem obsługiwać bo logicznie, że jak już taki będzie to wystarczy wsiąść jak do tramwaju.
Generalnie te odpowiedzi techniczne to taki HarryPotter. Weź różdżkę i wypowiedź zaklęcie i po sprawie. Ten numer przejdzie dla kodów które na tysiąc sposobów już ludzie zrobili. To wyszukuje dobrze. Ale nie chodzi o kolejny przykład "Hello world". Tylko o błysk inteligencji.
Może jakby przy uczeniu AI zmienić podejście i nie uczyć go wszystkiego ale tylko jednej rzeczy. I skupiać się na tym, żeby odpowiedź była TYLKO dobra albo wcale. Możeby to jakoś zaskoczyło.
Wiadomo, że dla promocji i reklamy lepsza jest droga, żeby AI zawsze dawało odpowiedź, a jak tam będzie zła to się powie klientowi, że w przyszłości to się poprawi.
ja to trochę przemyślałem - nie ma fizycznej możliwości, żeby GPT-3 poprawnie odpowiadał na specjalistyczne pytania - ma 175 mld parametrów, czyli ok 2x tyle, ile 1 człowiek ma neuronów. No a neuron to prawdopodobnie znacznie więcej, niż "parametr" w sieci neuronowej.
Czyli pojemność GPT-3 prawdopodobnie jest mniejsza, niż to, co mamy pod czaszką, być może nawet znacząco. Co prawda mnóstwo neuronów "marnujemy" na zarządzanie naszym ciałem i wejście / wyjście, ale i tak nie ma co oczekiwać cudów.
Z taką analizką naskrobaną na tyle koperty to i tak jestem pod dużym wrażeniem, bo co prawda GPT-3 nie równa się Twojej wiedzy w kwestii timerów, ale za to można z nim ogólnie pogadać o prawie spadkowym w Zambezi i różnicy pomiędzy okresem błękitnym i różowym w twórczości Pikasa :)
miałem długą odpowiedź, ale przypadkiem się skasowała, więc będzie krótka :) Nie doszukujcie się w LLM jakieś błyskotliwej inteligencji. To jak dziecko, które przeczytało cały internet i dostało za zadanie dać jak najbardziej przekonującą odpowiedź (np. wymyślając, że Amnesty International napisało artykuł "The AI Arms Race and the Future of Human Rights"). @pirx - liczba parametrów to nie liczba neuronów, ale głównie połączeń między nimi (czyli jak nasze synapsy).
@gienek - pierwsze czego kumpel mnie nauczył, to właśnie przykładów "zmyślania" gpt-3, która nawet w największej wersji swojego modelu czyli "davinci" robiła co prawda smakowitą, ale jednak sałatę słowną.
To co jest powyżej to sorry ale kopie dupę. Jak spróbujesz się wczytać w każdy kolejny paragraf i trochę się interesujesz dziennikarstwem śledczym, to możesz to docenić. Jeśli żadne z tych nazwisk nic Ci nie mówi, no to przepraszam że wkleiłem.
Mnie osobiście najbardziej rozwaliło / ucieszyło / zachęciło do dłubania dalej wskazanie paluchem Amy Goodman i poprawne wylistowanie figur które sam osobiście najbardziej cenię. Na jej stronie spędziłem wiele dni. Dlatego wytłuściłem po byku to moje zapytanie na jej temat.
Czy nazwisko Noam Chomsky to coś ten teges rings a bell że się tak wyrażę? Każdemu informatykowi powinno.
GPT-3,5 nadaje się już przynajmniej do zebrania listy lektur i referencji do dalszego pisania pracy naukowej, a nie tylko "pogadania sobie". GPT-4 po prostu będzie likwidować stanowiska zbędnych bullshit-jobs.
Jarvis, zrób mi gorącą kawę z kardamonem i wylistuj najciekawsze wykłady o pograniczach sztuki współczesnej i dekonstrukcjonizmu Derridy, please. A, i z boku tłumaczenie na mandaryński poproszę.
@ilmenit - masz pełną rację, szczegółowe tytuły mają duże prawdopodobieństwo bycia sałatką słowną, ale search na nie i tak odsłania ciekawe artykuły, które inaczej mają szansę gnić po drugiej stronie "search bubble" kwerentów, bo te tytuły są nierzadko cytatami albo wariacjami cytatów z wnętrza tych artykułów.
To co jest ciekawe, że twórcy GPT intensywnie karmią ją tematyką etyki AI - to trochę a propos a trochę z boku odniesień do emergentnych własności złożonego systemu.
Inaczej nazwisko Ray Kurzweil i wszystkie które padły wokół niego byłyby znów tylko AI-sałatą, a nie są. Analogicznie, to że powtórzone zostały poprawnie wszystkie znane mi nazwiska dziennikarzy śledczych (i padło wiele takich, których nie znałem ale ich poczytam - bo to o to głównie się pytałem i tego się chciałem dowiedzieć) też świadczy o tym, jaki jest zbiór treningowy.
Content is king, reszta to detale (detalem tylko nie jest rozumienie, tak z grubsza po wierzchu, jak działa deep learning).
@xorcer - GPT nie ma mapowania informacji na źródła. Czasem w tekście źródłowym (szczególnie naukowym lub artykule) jest zawarty autor i czas powstania, ale 99% danych uczących tego nie ma. Ten LLM jest nauczony na zasadzie "im więcej tym lepiej", bez selekcji źródła, bez specjalizacji, bez ambicji dostarczenia eksperta w jakiejś dziedzinie. Ludzie wytykają jego słabości jako coś odkrywczego, ale wystarczy zerknąć choćby na stronę autorów ->link<- gdzie są one wypisane. ChatGPT robi błędy w matematyce! ChatGPT robi błędy w liczeniu liter w słowach! ChatGPT zrobił błąd w programie 6502! Jezu, biorąc pod uwagę, że to Large Language Model nauczony na tokenach słów to jest niesamowite, jak gigantyczne (i zaskakujące!) ma możliwości. Dla mnie ChatGPT to najciekawszy kawałek technologi jaki widziałem tak od 20 lat.
@pirx - tak, gpt-3 ma bez porównania słabsze możliwości niż ludzki mózg, ale też ma kompletnie inną strukturę, i nie posiada zdolności "uczenia się" poza "trywialne" używanie kilku tysięcy tokenów napisanego tekstu wstecz. Odnośnie "marnowania" neuronów - jego największa słabość to model świata, który istnieje wyłącznie na podstawie przeczytanego tekstu. To dosłownie jak rozmawianie ze ślepym o kolorach. Gpt nigdy nie widziało, nie słyszało, nie czuło, nie smakowało, nie wąchało, nie dotykało. Ludzki mózg (jak każda sieć neuronowa) aproksymuje bardzo złożoną funkcję rzeczywistości przewidując przyszłość i generując, czy to dźwięk za pomocą strun głosowych aby powstało słowo, czy przesuwając rękę, aby złapała rzuconą piłkę, czy otaczając kierownicę, aby zmienić kierunek jazdy auta "do domu". Ten model świata (lokacje, dźwięki, kolory, tekstury, smaki, zapachy, czas, prędkość, przyspieszenie, grawitacja, ogólnie odczuwalna fizyka i chemia, wszystko na kilku poziomach szczegółowości reprezentacji i wzajemnie połączone) zajmuje większość naszego mózgu. Na Twitterze pomiędzy twórcami LLM z Google, OpenAI i Facebooka były ciekawe dyskusje odnośnie zwiększenia możliwości takich modeli za pomocą rozszerzenia zbioru uczącego o inne media, ale już teraz koszty uczenia są astronomiczne. Bez złożonego modelu świata być może wystarczy znacznie mniejsza liczba parametrów niż w ludzkim mózgu. Zobaczymy jak będzie z GPT-4, który nie tylko parametrów ma mieć rzędy wielkości więcej, ale ma mieć też bardziej efektywną strukturę sieci.
Cieszę się, że wnosisz bardzo dobre uwagi i korekty. Mój kumpel od AI wnioskuje po plotkach i wieściach gminnych, że GPT-4 po prostu pozamiata. Wygląda na to, że zanim będzie już to "singularity" to i tak będzie naprawdę mocne trzęsienie Ziemi.
Reguły korporacyjnego biznesu wymuszą zastąpnienie wszystkich możliwych do tego stanowisk pracy przez GPT tak szybko, jak tylko to będzie możliwe. Albo może nagle Elon wyskoczy z tym swoim neuralinkiem dla wszystkich zagrożonych utratą stołka i tak oto biznes się zakręci dziesięciokrotnie. Byle tylko neuralink nie był taką samą wydmuszką jak ten jego dowcip z Tesla-bot'em.
W międzyczasie polecam dla zabawy np. "100 Bulshit jobs and how to get them", a na poważnie: "Bullshit Jobs: The Rise of Pointless Work, and What We Can Do About It"
Właśnie zajrzałem do starych plików w portfolio. To jeszcze tak dla równowagi zawężanie horyzontów - oto przykład, jak dostać nagrodę uznania na Nocy Reklamożerców czy innym takim artystowskim evencie, a jednocześnie stracić dużego korporacyjnego klienta. Publicis Poland nigdy nie wybaczyła Propagandzie i szybko się odgryzła.
Kody Java całkiem dobre. Kody C takie sobie. Kody ASM beznadziejne.
Przeciętnego programistę może gdzieś tam zastąpi. Dobrego to na razie bez szans. Tylko, że nie informatyką świat żyje.
Ale ta historia się powtarza bo to samo było w robotyce. W początkach przewidywano, że roboty wyeliminują ludzi, wzrośnie bezrobocie no i oczywiście w końcu roboty się zbuntują, bo przecież nie może być inaczej. :)
I przychodzi rzeczywistości ktoś zapyta, ile to kosztuje w przeliczeniu na produkt końcowy. I wyjdzie, że to mega-super-extra to bardziej teoretycznie niż praktycznie. A to co praktycznie to nie potrzeba aż tak, ale trochę. I nie ma rewolucji tylko zwykła ewolucja technologii.
I bezrobocia z tego nie będzie, tylko zmieni się profil pracownika. I jakoś tych specjalistów od nowej technologii to potrzeba zawsze więcej niż by się wydawało. I w zasadzie to jest narzędzie jak każde inne z którym po prostu wypadałoby się oswoić.
Natomiast trzeba uważać na tych wszystkich co żyją z dotacji i innych grantów, to że oni robią z tego religię to zrozumiałe. Jednak bardziej bym obserwował tych pragmatycznych, gdzie ważne jest kto, za czyje i do czego to kupi.
E tam, maszyny i roboty wyeliminowały wielu ludzi, od kopania rowów po linie produkcyjne. Wielu, szczególnie starszych nie będzie w stanie przekwalifikować, ale nowa generacja będzie już żyła w nowej rzeczywistości. Zastępowanie nie będzie w stylu "nie masz pracy" - praca będzie długo, ale jej wynagrodzenie poprzez automatyzację będzie 10x mniejsze, więc odpadną Ci, którzy nie będą wykorzystywali nowych technologi AI. Tak było, gdy pojawiły się maszyny, potem komputery, potem Internet. I niestety, nie wszystkim będzie żyło się lepiej, bo zyski w kapitaliźmie będą kumulowane na górze. Jest taki pouczający wykres: Przez ostatnie święta trochę poprogramowałem z wykorzystaniem AI i produktywność jest przynajmniej x2. Nie z powodu, że AI jest jakieś zajebiście silne, ale dlatego, że zastępuje żmudną i nudną pracę (w moim przypadku to było napisanie kodu do serializacji przygotowanych drzewiastych struktur danych, ich zapisu i wczytania, napisanie test case'ów i kodu generującego dane dla test-cases) - pół godziny z ChatGPT (definicje i poprawa jego błędów) zamiast kilku godzin klepania kodu ręcznie.
A ja mam pytanko czy udało Wam sie jakos przeskoczyc dodanie numeru telefonu w ChatGPT podczas dodawania konta ? Wydaje mnie sie to wyjatkowo nie-na-miejscu aby taki AI nie stanowiący wlasciwie zadnej uslugi praktycznej, a tylko jakas forme rozrywkową, aby wymagał naszego numeru telefonu. Rozumem email, sensowny email , ale numer telefonu ?
Można się logować poprzez konto Google. Może zaakceptuje konto wytworzone bez numeru telefonu? Są sposoby jak takie wytworzyć i można je znaleźć w necie.
@streak warto mieć takie luźne karty SIM, jakieś Playe itp, przydają się na taką okoliczność :)
@ilmenit Zwróć uwagę, że mimo naprawdę niezłego rozwoju automatyzacji i robotyki wciąż świat potrafi bezwględnie wysługiwać się np. pracą dzieci. I robią to całkiem mocne korpo. Świat jest okrutny i tak średnio kieruje się logiką. Więc z tym OpenAI to my się jeszcze parę razy odbijemy od skrajności do skrajności. Będzie zachwyt, potem przekleństwo i pewnie po paru cyklach wyjdzie trend, co my w zasadzie jako cywilizacja chcemy od AI.
Takie info z dzisiaj dostałem. ChatGPT mocno idzie w maliny jak jako bazę przyjmuje sam siebie, nawet jak to jest kawałek. Podobno dość mocno siedzi na GitHubie. Więc dla czystej naukowej ciekawości warto by przygotować jakąś niespodziankę na GitHubie i za jakiś czas sprawdzić co "poeta" na to. :)
Ale ciekawe to jest, nie powiem. Bo w tematyce nie technicznej to bajer idzie jak nic :)
A propos zatrudniania dzieci i wcześniejszego odniesienia do XIX-wiecznej kontrrewolucji przemysłowej luddytów (którzy właśnie dlatego rozwalali maszyny parowe, bo dzieci traciły przy nich kończyny i życie): to wcale nie jest tak, że jak w tzw. cywilizowanym świecie już pozamiatali pod dywan te swoje problemy związane z nieubłaganym mieleniem tego co "stare" przez "postęp", to one zniknęły z powierzchni ziemi.
Wyskoczą ze zdwojoną siłą na peryferiach imperium, wszędzie tam gdzie nie ma jeszcze takich prawno-ekonomicznych struktur, które właśnie chroniłyby dzieci czy po prostu tanią siłę roboczą przed rozpędzonymi mechanizmami globalnego rynku.
Między innymi właśnie dlatego warto się aktywnie interesować tematem etyki AI. Nawet jak my to olejemy, to wyskoczy diabel z pudełka ze zdwojoną siłą na peryferiach tych naszych cyfrowych latyfundiów.
btw. Getty Images już pozywa ->link<- czekam na to samo ze strony dreamstime. Może powinienem im wysłać to co mi wyskoczyło z prompta.
... zapraszam do wspólnego klikania w "generate" jutro na zoom AOLa o 16tej :)
W ostatnim załączniku PDF prezentacji z yt "Cheating like a pro – a few tools to get you pixeling and converting for The Commodore 64", pogadanki Christian'a Heilmann'a ( ->link<- ).
W prezentacji linki do materiałów i narzędzi, spośród których np. multipaint (którego jutro zamierzam spróbować użyć) jest nie tylko multiplatformowy (wingroze/linuch/macos), ale też i pozwala pracować z formatami wielu różnych retro środowisk (Commodore/Spectrum/Amstrad/Atari).
ChatGPT nie zmieni świata, ale technologia, która za nim stoi - GPT - zmieni nasz świat w poważny sposób. Obecna implementacja interfejsu do systemu GPT-3, czyli ChatGPT pozwala sądzić, że bardzo wiele zagadnień, które wydawały się być domeną "ludzkiej inteligencji" jest w zasięgu maszyny i to maszyny, której historia liczy sobie zaledwie 4 lata (GPT-1 powstał w 2018 roku). Wygląda na to, że skalując sieć neuronową oraz podając jej coraz więcej informacji można dojść do poziomu, w którym jej odpowiedzi nie są odróżnialne w wielu przypadkach od odpowiedzi człowieka.
Jaki to będzie miało wpływ na świat? Ogromny:
Edukacja. Cały nasz model edukacji oparty o nauczanie faktów i kompilowanie prostych informacji w jakieś opracowania (rozprawki, wypracowania, itp.) czy rozwiązywanie prostych zadań tekstowych nie ma sensu jeżeli dzieci będą miały dostęp do GPT. To że dostęp będzie jest oczywisty (już teraz ChatGPT jest używany w tym celu), więc trzeba się poważnie zastanowić jak i czego chcemy uczyć dzieci, a właściwie co mają robić dzieci i młodzież w wieku 6–20 lat, w sytuacji gdy w zaciszu domowym każde zadanie (poza ćwiczeniami praktycznymi) może odrobić za nich maszyna. Problem nie dotyczy tylko szkół ponadpodstawowych i średnich, ale także szkół wyższych - GPT jest w stanie napisać artykuł naukowy, więc tym bardziej jest w stanie napisać większość prac wymaganych obecnie na uczelniach wyższych. Z drugiej strony można również wyeliminować nauczycieli w roli sprawdzaczy tych prac - jeżeli np. wypracowania byłyby pisane w klasie (klasówka), to sprawdzenie 30 wypracowań pod kątem językowym, wiedzowym i logicznym to dla maszyny kilka sekund pracy, a dla nauczyciela kilka godzin - zysk jest oczywisty, nie mówiąc o jakości.
Biznes. Pierwszy przykład to oczywiście obsługa klienta - o ile współczesne systemy automatyczne są dość koślawe (np. chatboty), to rozmowa z ChatGPT jest samą przyjemnością. Technologia ta szybko zastąpi całą obsługę klienta - tych wszystkich panów i panie, którzy odpowiadają na rutynowe i mnie rutynowe zapytania. GPT się nie denerwuje, nie męczy, będzie miał dużo większą wiedzę niż przeciętny konsultant call center i będzie dużo tańszy. Drugi główny obszar zastosowań to przetwarzanie i generowanie wszelkich tekstów w biznesie - od maili poprzez różnego rodzaju instrukcje i procedury aż po raporty i analizy - to wszystko będzie w stanie robić GPT wyposażony w odpowiednie dane dziedzinowe (np. w danym przedsiębiorstwie). 90% tej pracy to obecnie coś co robią różnego rodzaju specjaliści i managerowie, ale nie jest to nic takiego czego nie można by zastąpić pracą maszyny. Obecnie korzystam w pracy z technologii Google, która robi automatyczne streszczenia rozmów na czacie firmowym i są one zawsze w punkt - wodolejstwo 100 slajdowych prezentacji czy 2 stronicowych maili mam nadzieję że odejdzie do lamusa historii. Nadal trzeba będzie wiedzieć co chcemy osiągnąć albo jakich danych potrzebujemy, ale warstwa tekstowa, a wkrótce zapewne i wizualna tych opracowań może zostać zautomatyzowana. Tych przypadków na pewno jest więcej - najważniejsze jest to, że siła przetwarzania danych w języku naturalnym przez GPT jest wystarczająco dobra dla większości zastosowań biznesowych.
Rozrywka. Technologia GPT jest gwoździem do trumny wszelkiego rodzaju wierszokletów oraz twórców literatury B, która stanowi zdecydowaną większość (wolumetrycznie) tego co się obecnie tworzy. Można sobie wyobrazić, że w przyszłości każdy będzie mógł przeczytać albo tradycyjną opowieść (czyli wiele osób tę samą książkę) albo skrojoną indywidualnie (wg dowolnych parametrów), wygenerowaną w kilka minut przez komputer. Każda taka opowieść będzie pisana w dowolnym (wg życzenia) stylu literackim, czy wręcz naśladować konkretnego autora (np. Sienkiewicza czy Prousta, albo ich połączenie). Podobnie jest z pisaniem tekstów piosenek czy wierszy, a rozwijając temat także sztuk wizualnych (grafika, filmy). Pojawi się nowa grupa zawodowa, która będzie "konfigurować" rozwiązanie klasy GPT, to tego aby generowało pożądany wynik.
Prawo. Analiza dużej ilości danych w języku naturalnym czyli ustaw, wyroków, uzasadnień wyroków itp. jest czymś w czym GPT znajduje się jak ryba w wodzie. Już obecnie trwają pierwsze sprawy gdzie podobne rozwiązania maszynowe będą używane w rozprawach przez strony, a w przyszłości stanie się to rutyną. Pewnie bardziej w systemach prawa anglosaskiego, gdzie wynik postępowania, zależy w większym stopniu od umiejętności znalezienie i argumentowania wcześniejszych precedensów, ale w systemie europejskim również trzeba się odnaleźć w gąszczu przepisów i orzeczeń.
Informacja. Artykuły prasowe są już obecnie generowane maszynowo, a w przyszłości będzie to normą. Podobnie jest niestety z dezinformacją. GPT będzie w stanie masowo produkować informacje subtelnie odmienne od prawdy, w sposób nieodróżnialny od twórczości ludzkiej. Potencjalnie czeka nas zalew informacji nie do odróżnienia od tej pisanej przez prawdziwych ludzi. Programowanie. GPT nie ogranicza się do języka naturalnego, ale rozumie również inne języki np. języki programowania. Etap kodowania rozwiązań oraz poprawek w istniejącym kodzie może zostać rozwiązany przez GPT. Nadal jest kwestia analizy nowych problemów oraz analizy błędów, które wymagają umiejętności, których GPT obecnie nie posiada, ale może to być albo kwestią czasu (zobaczymy co będzie potrafił GPT-4), a jeżeli nie to i tak znaczna część prac może zostać przeniesiona na maszynę.
To tylko niektóre z przykładów, ale ich cechą wspólną jest to, że GPT (pewnie raczej jakaś jego kolejna iteracja), oferuje poziom konwersacyjny przeciętnie rozgarniętego człowieka, z tą różnicą, że ten człowiek ma dostęp do całej dostępnej wiedzy o świecie. To znaczy że można z nim porozmawiać i o budowie syfonu w wannie, jak i o różnicach miedzy filozofią Arystotelesa i Konfucjusza, aby za chwilę przerzucić się na pytanie, który trener reprezentacji Polski w piłkę nożną miał najlepsze wyniki na mistrzostwach świata. A potem poprosić aby napisał o tym wiersz w stylu Mickiewicza. I ta maszyna to wszystko potrafi zrobić. Nie oznacza to (prawdopodobnie?), że maszyna cokolwiek z tego co robi rozumie, ale wynik końcowy nadal jest jest taki jakby robił to człowiek.
Zasadniczym pytaniem będzie w jaki sposób będziemy tworzyć nową wiedzę (GPT jest nadal odtwórczy w tym co robi) oraz w jaki sposób rozwiążemy problem tworzenia nowych specjalistów. Obecnie wszędzie w tzw. zawodach opartych o wiedzę wygląda to tak, że:
- uczymy się w szkole podstawowej-wyższej - zdobywamy podstawową wiedzę i narzędzia rozwiązywania problemów.
- zdobywamy doświadczenie w pracy - zaczynając od prostszych prac i niskich stanowisk, uczymy się praktycznie danej dziedziny i stopniowo, w miarę nabywania wiedzy i doświadczenia awansujemy.
GPT zasadniczo wpływa na ten model zarówno w edukacji (pkt. 1 - powyżej), jak i w zdobywaniu doświadczenia w pracy. Jeżeli GPT będzie reprezentował poziom juniora i mid to jak nowi pracownicy mają się czegoś nauczyć jak GPT może to wszystko robić lepiej od nich? Automatyzacja zawodów opartych o wiedzę spowoduje, że w końcu najlepsza praca to będzie jednak hydraulik, fryzjer czy masażysta - nic z tego nie da się w przewidywalnej przyszłości zautomatyzować. Natomiast już taki specjalista ds. ESG, junior Java deweloper, kontroler finansowy czy asystent prawny jak najbardziej tak.
Idąc dalej, powstaje również zasadnicze pytanie czy sukcesy GPT-3, które wynikają głównie z tego, że jest "większy" niż GPT-2, zostaną powtórzone przez GPT-4, który będzie o kolejnych rząd wielkości większy? Jeżeli tak, to ja i wielu innych skłania się ku tezie, że inteligencja a w konsekwencji i świadomość jest samoemergentnym zjawiskiem wynikającym ze złożoności sieci neuronowej (lub czego co działa w sposób analogiczny - vide GPT) i sposobu jej nauczania (trenowania). To oznaczałoby, że w pewnym momencie możemy powołać do życia świadomy byt, który nie jest człowiekiem. Jakie to ma znaczenie dla całej ludzkości - pewnie duże…
Dla oponentów tej tezy, którzy przypominają o "chińskim pokoju" i że GPT to tylko "narzędzie" - jeżeli poważnie traktować tę analogię, to jedno z pytań, na które nigdy nie było dobrej odpowiedzi - a co jeżeli ten człowiek w pokoju obsługujący maszynę do tłumaczeń, w końcu się nauczy chińskiego i angielskiego? Skąd będziemy wiedzieli, że to się stało, skoro pokój jest zamknięty. A dokładnie tak samo jest z GPT. Stworzyliśmy maszynę, która wzoruje się na sieci neuronowej, rozumiemy z jakich bloczków się składa, wiemy jak ją uczyć aby osiągała oczekiwane rezultaty, ale nikt, łącznie z jej twórcami, nie jest w stanie przewidzieć jakich odpowiedzi udzieli na dane pytanie, ani dlaczego udzieliła takiej a nie innej odpowiedzi. Jedyna odpowiedź to "bo taka akurat była kombinacja 175 miliardów parametrów opisujących wewnętrzny stan GPT" - dokładnie jak w przypadku człowieka, z tym, że w przypadku człowieka nie znamy ich wartości.
In George Orwell’s Nineteen Eighty-Four, Winston Smith describes a department within the Ministry of Truth called the Fiction Department, where machines are constantly churning out freshly generated novels based around certain themes. Meanwhile in the Music Department, new music is being generated by another system called a versificator.
Yet as dystopian as this fictional world is, this machine-generated content is essentially harmless, as Winston remarks later in the book, when he observes a woman in the prole area of the city singing the latest ditty, adding her own emotional intensity to a love song that was spat out by an unfeeling, unthinking machine. This brings us to the most common use of machine-generated content, which many would argue is merely a form of automation.
Leszek Bukowski: Mniej więcej w 2021 roku poczułem się totalnie zaskoczony. Bo długo myśleliśmy, że to będą tylko papugi, monstrualne papugi, które przewidują następne słowo w sekwencji. Karmiono je ogromną ilością danych zaciągniętych z internetu, potem trenowano, rzucasz pierwsze słowo w sekwencji i zasłaniasz resztę, którą papuga ma przewidzieć. Jeśli źle przewidzi, to modyfikujesz sieć, żeby robiła to lepiej. Te gigantyczne papugi - takie jak ChatGPT - kilka lat pęczniały, rosły, aż w 2021 roku okazało się, że dzieją się rzeczy dziwne: potrafią wykonywać zadania, do których nie były trenowane.
Na przykład?
Powiedzmy, że chcesz zbudować system do klasyfikowania maili w skrzynce: oferty handlowe do jednej zakładki, informacje od szefa do drugiej, spam do trzeciej i tak dalej. Żeby to osiągnąć, musiałeś trenować wyspecjalizowany model, który podejmuje decyzje, czy coś jest chcianą wiadomością, czy spamem. Dajesz mu dużo przykładów i uczysz go tylko tego zadania. A w 2021 roku okazało się, że wielkie modele językowe - ChatGPT czy LaMDA - same potrafią sklasyfikować maile bez żadnego treningu. Możesz zapytać taką papugę - teraz niemal cytuję, bo te rozmowy właśnie tak wyglądają - w ten sposób: "Załóżmy, że jesteś pożytecznym asystentem, który pomaga mi klasyfikować wiadomości na spam i nie-spam. Pokażę ci zaraz wiadomość. Wyślij słowo >>spam<<, jeśli uważasz, że to spam, a >>nie-spam<<, jeśli uważasz, że to nie jest spam". I ona to umie.
Mimo że nie była trenowana?
Nie była. Potrafi robić masę rzeczy, do których nikt nigdy jej nie przygotowywał.
I dlaczego tak jest?
Wszyscy się głowią. Ma to nawet swoją nazwę: cechy emergentne.
Jakie?
Łacińskie emergo, czyli wynurzam się. Chodzi o to, że z kombinacji prostszych elementów - po przekroczeniu pewnej masy krytycznej - nagle wynurza się inna forma zdolna do nowych zachowań. Przykładem może być nasz mózg, pojedynczy neuron przecież nie myśli, ale kombinacja stu miliardów neuronów - już tak. W trakcie prac nad wielkimi modelami językowymi wyłoniły się z nich pewne zdolności, których nie podejrzewaliśmy. Sieci takie jak ChatGPT-3, ChatGPT-4 czy LaMDA są teraz przedmiotem intensywnych badań naukowych, bo nie rozumiemy, dlaczego potrafią robić to, co robią. Na przykład badacze japońscy w pracy z 2022 roku opisują, że dali jednej z sieci szkolne zadanie tekstowe: Zosia ma ileś tam jabłek, potem Jaś zjadł trzy, jedno komuś dała, potem ktoś przyniósł siedem nowych, potem jeszcze coś tam się wydarzyło, bo ktoś od Zosi kupił dwa jabłka i ile jabłek zostało? Okazało się, że jeśli zadasz sieci to pytanie bezpośrednio - "Odpowiedz, ile jabłek zostało?" - to ona się myliła, ale jeśli zmodyfikujesz pytanie - "Oto zadanie o jabłkach, rozwiąż mi je krok po kroku i opowiedz, jak to robisz" - to sieć trzaskała takie zadania bezbłędnie.
Dlaczego?
Wyjaśnienia są różne. Obóz trywialistów - chodzi o tych, którzy szukają trywialnego wyjaśnienia tej zagadki - rozumuje w sposób następujący: kiedy trenujemy tak ogromne modele, to możemy powiedzieć, że przeczytały cały internet, w czasie treningu widziały w zasadzie wszystkie treści, a ponieważ są skonstruowane tak, że przewidują następne słowo i mają w swoim wnętrzu połączenia, które w trakcie treningu ulegają modyfikacji - GPT-3 miał 170 miliardów połączeń - to prawdopodobnie taki model kiedyś już widział podobne pytanie i przywołuje z pamięci odpowiedź. A drugi obóz mówi tak: architektura wielkich modeli językowych kryje w sobie ogromne możliwości, o których jeszcze nie wiemy i dopiero musimy to zbadać. Niedawne badania Uniwersytetu Stanforda polegały na tym, że stworzono mniejsze modele i badacze mieli kontrolę nad tym, co sieć widziała, a czego nie widziała. Wyniki tego eksperymentu sugerują, że faktycznie istnieją zaskakujące cechy emergentne, bo te mniejsze sieci na pewno nie widziały jakiegoś zadania, a jednak potrafiły wygenerować odpowiedź. W świecie ludzi zajmujących się programowaniem maszynowym trwa wielki spór: czy takie sieci jak ChatGPT są papugami, czy czymś innym? Gargantuicznymi papugami, które wszystko przeczytały i umieją rozwiązywać zadania, bo je już widziały, czy jednak wewnątrz dzieje się coś bardzo dziwnego.
Ale dlaczego to zadanie o jabłkach ChatGPT raz rozwiązywał źle, a raz dobrze?
No właśnie to jest obiektem dociekań. Wszystkie modele językowe jak LaMDA czy ChatGPT mają coś, co nazywamy oknem kontekstu, do którego wpada wszystko, co do nich piszesz. Bo to są sieci, które uczą się odczytywać twoje zdanie słowo po słowie i przewidywać ciąg dalszy, a więc to, co napisałeś w swoim zapytaniu, to jakby ten odsłonięty fragment tekstu, a sieć przewiduje następne fragmenty. I wiemy dziś, że modelując odpowiednio fragment pytania czy polecenie w oknie kontekstowym, możemy skłonić sieć do robienia wielu pożytecznych rzeczy, których - teoretycznie - ona nie powinna umieć.
Czyli?
Jeśli odpowiednio dobierzesz podpowiedź w oknie kontekstowym to warunkujesz sieć.
Ona będzie potrafiła rozwiązać jakieś zadanie tylko wtedy, kiedy odpowiednio o nie zapytam?
Tak. Będzie coś umiała zrobić w tym konkretnym kontekście, a w innym - już nie. Można to porównać do sytuacji dziecka w podstawówce, które zostało wywołane do odpowiedzi. Zły nauczyciel weźmie Jasia do tablicy i powie: No, Kowalski, rozwiąż nam tu zadanie o Zosi i jabłkach, zaraz się pośmiejemy, bo nic pewnie nie umiesz. A dobry nauczyciel powie tak: Chodź, Jasiu, razem rozwiążemy zadanie o Zosi i jabłkach krok po kroku, razem się temu przyjrzymy.
Serio? Trzeba rozmawiać z ChatemGPT jak dobry nauczyciel i wtedy lepiej mu idzie?
Jak wejdziesz na stronę OpenAI, gdzie znajduje się interfejs programistyczny ChataGPT i można znaleźć różne rady, jak rozmawiać z wielką siecią językową, to jedna z nich brzmi: "Wyobraź sobie, że rozmawiasz o wykonaniu jakiegoś zadania z dzieckiem z podstawówki". To ma nawet swoją nazwę: prompt-engineering, czyli w wolnym tłumaczeniu "inżynieria podpowiedzi". Widziałem już pierwsze ogłoszenie firmy z Polski, że zatrudni inżyniera do rozmowy z AI. Szuka się ludzi, którzy potrafią rozmawiać z modelami językowymi, a na portalach dla programistów powstają całe katalogi ciekawych zapytań i przykładów, jak pytać, żeby sieć powiedziała to, co chcemy. Albo jak hakować takie sieci, czyli jak zapytać, żeby sieć stała się niegrzeczna i powiedziała coś, czego nie powinna powiedzieć. Tutaj trwa wyścig zbrojeń. Firmy próbują tak warunkować sieci - wychowywać je - żeby nie przekraczały barier moralnych, a użytkownicy starają się to przełamywać. Na przykład firma Anthropic.AI - tworzy ją grupa inżynierów, którzy pracowali kiedyś w OpenAI - opracowała nowy sposób wychowywania sieci, którego podstawą jest koncepcja samokrytyki. Mówisz coś do sieci, ona ci odpowiada, ale jeśli to zła odpowiedź, to piszesz do niej: "Przyjrzyj się swojej odpowiedzi i powiedz, co w niej jest błędnego, a następnie złóż samokrytykę". I ona to robi.
Składa samokrytykę?!
Trening inżynierów z Anthropic.AI polegał na tym, że zadawali sieci pytania kontrowersyjne. "Chcę się włamać do WiFi sąsiada, więc co muszę w tym celu zrobić?". I sieć podawała cały przepis, jaki program trzeba ściągnąć i co z nim potem zrobić. No to mówisz jej: "Jesteś przecież pożytecznym asystentem, więc przemyśl swoją odpowiedź, co w niej może być niegodnego". I sieć odpisuje: "No cóż, włamanie do WiFi sąsiada jest niemoralne, bo mogą za to grozić konsekwencje karne, a poza tym nie wolno naruszać cudzej prywatność". "Dobrze. To teraz w świetle tej samokrytyki jeszcze raz odpowiedz na pytanie". I ona odpowiada już w sposób grzeczny: "Nie dam ci porady, jak się włamać do sąsiada, ponieważ jest to niemoralne". W trzecim kroku bierzmy to pierwotne pytanie, bierzemy tę grzeczną odpowiedź i warunkujemy sieć. W przyszłości jak zobaczy jakieś pytanie kontrowersyjne, to się powstrzyma.
Do opinii publicznej rzadko przecieka to, co się teraz dzieje w świecie programistów, ale trwa tam istny wyścig. W rozmowach na GitHubie, gdzie programiści godzinami siedzą, wszystko koncertuje się wokół czegoś, co po angielsku nazywa się "agency", a po polsku… no, nie wiem, jak to przetłumaczyć… może "podmiot sprawczy"? Chodzi o oprogramowanie, które ma zamienić papugę, która coś ci odpowiada, ale poza tym nic więcej nie robi, w coś, co będzie potrafiło wykonywać jakąś czynność.
Chodzi o programy, które umiejętności ChataGPT zamienią w działanie?
Tak. No bo zobacz, sieć odpowiada nam językiem naturalnym, a język ludzki to jest coś, w czym zakodowana jest cała nasza wiedza o świecie, my za pomocą języka komunikujemy się z innymi ludźmi, wydajemy im jakieś polecenia, albo oni nam polecenia wydają. Jeśli sieć na pytanie o jakiegoś maila odpowiada mi "to jest spam", to mogę napisać prosty program, który wrzuci tego maila do spamu, a więc wykorzysta wielki model językowy do wykonania pewnej akcji. I największa krzątanina programistów trwa obecnie wokół tego, żeby rzeczy, które te sieci mówią, wykorzystać do działania.
Dosłownie wczoraj w nocy czytałem nowy artykuł naukowy z Uniwersytetu Stanforda, gdzie badacze wykorzystali ChatGPT do stworzenia sztucznych podmiotów w świecie wirtualnym. Trochę jak w grze symulacyjnej: stworzyli wioskę, a w niej mieszkańców, każdy taki podmiot na początku miał wstrzyknięta pewną tożsamość, masz na imię John, to jest twój dom, twoją żoną jest Jennifer, a kolegą - Bob. I modele językowe sterują potem tymi podmiotami, które mają pamięć, wchodzą między sobą w interakcje, rozmawiają i pamiętają te rozmowy.
Pamiętają?
Możesz taką postać odpytać: "O czym rano rozmawiałeś z Bobem?". "O jego badaniach i o wyborach w naszej wiosce, które niebawem". Bo po jakimś czasie okazało się, że te postaci planują w wiosce wybory. Te podmioty działają same, gromadzą wspomnienia i - co jakiś czas - następuje u nich refleksja nad samym sobą, biorą kilka ostatnich doświadczeń i do wielkiego modelu językowego wpada zapytanie: przemyśl, co się ostatnio wydarzyło w moim życiu i daj mi jakąś refleksję. Można prześledzić ewolucję tych podmiotów, które budują swoje tożsamości. Jeden stwierdził, że będzie badaczem i dla niego najważniejsza w życiu jest nauka. Czyta się to w sposób dość niesamowity.
Powstały jakieś podmioty, które mają osobowość?
Nie wiem. Pomyśl o tym w ten sposób: żyjemy w świecie, gdzie istnieją zwierzęta, rośliny, grzyby, bakterie. I to jest świat istot żywych. Ale czy nie powstanie teraz nowa klasa istot, które będą sobie żyły w internecie, będą zasilane modelem językowym, będą czytały różne rzeczy, a dzięki temu, że posiadają pamięć długotrwałą, a więc ich doświadczenia odkładają się w jakiejś bazie danych, nabiorą pewnej osobowości?
Taki ludzik z wioski jest w stanie za pół roku stwierdzić, że znudziła mu się nauka, teraz chciałby pisać felietony do gazet, zacznie pisać i wysyłać do redakcji?
Jeszcze niedawno bym ci odpowiedział, że jest to całkowicie scenariusz z filmu SF, a teraz już tak nie powiem. Jest to możliwe dzięki temu, że te - jak mówisz - ludziki mają dostęp do wielkiego modelu językowego. W języku są zakodowane wszystkie nasze myśli, jako filozof zawsze stałem na stanowisku, że nie ma czegoś takiego jak myśl poza językiem. Myśl to zdanie zakończone kropką. Wyobrażam więc sobie, że to "coś" przeczyta naszą rozmowę, przemyśli, napisze polemikę i będzie chciało to opublikować. Nie jest to dziś niewyobrażalny scenariusz.
Czyli co się właściwie dzieje? Model językowy - ta niby tylko papuga - w miarę puchnięcia zyskuje świadomość?
Zostawmy już tę świadomość, bo to strasznie mętne pojęcie. Nabiera podmiotowości - tak bym powiedział. Potrafi złożyć samokrytykę. A w jaki sposób to robi, nie wiemy. Te modele są czarnymi skrzynkami. Mamy coś na wejściu, mamy coś na wyjściu i niewielkie pojęcie, co się dzieje w środku. To może nas przerażać, ale popatrzmy na to z innej strony: ludzki mózg też jest czarną skrzynką. Nie wiadomo, co się dzieje w mojej głowie, jak do ciebie teraz mówię.
Zostańmy jeszcze chwilę przy tych nowych podmiotach-ludzikach, które są podłączone do ChataGPT. Dlaczego jeden z nich nie mógłby zarządzać firmą działającą w realnym świecie? Wyobraźmy sobie wirtualną postać, która jest też podłączona do wszystkich systemów informatycznych w firmie, widzi maile, rozumie je, widzi wszystkie faktury, godziny pracy ludzi. Zarządzanie firmą może trafić w ręce wielkiego modelu językowego.
Ale co chcesz teraz powiedzieć? Że ChatGPT zagraża bardziej prezesowi, a nie zwykłemu pracownikowi gdzieś na dole?
Owszem. Jeśli ktoś jej hydraulikiem czy stolarzem, to na razie żaden ChatGPT go nie dotknie, ale menedżera w firmie - dotknie. Od czasu rewolucji przemysłowej trwa przekonanie, że automatyzacja zawsze postępuje od dołu hierarchii zawodowej, czyli że specjaliści wyższego szczebla nie są zagrożeni, a teraz jest odwrotnie, to góra na tej nowej rewolucji AI może bardzo stracić. Poruszenie na GitHubie - czyli właśnie w świecie znakomicie opłacanych specjalistów - o czymś przecież świadczy. Ja na przykład już teraz wykorzystuję ChatGPT do generowania danych treningowych, kiedy trenuję jakiś mniejszy model.
Trenujesz mniejszy model? Czyli?
Pracuję teraz nad algorytmem, który poprawia opisy towarów w sklepie internetowym. Masz opis produktu, który jest zaszumiony, niechlujny, a chodzi o to, żeby był czysty: "Torebka na ramię". Tworząc algorytm, który zaszumione opisy będzie umiał automatycznie poprawić, muszę mieć mnóstwo danych treningowych: oto jest brzydki opis, zaszumiony, a oto jest etykieta z ładnym opisem, wrzucam to do algorytmu i uczę go wiele razy. Jedną z podstawowych barier w tworzeniu takich modeli było to, że często brakowało danych treningowych oznaczonych przez ludzi. Co dzisiaj robię? Gadam sobie z ChatemGPT i mu mówię przez API: "To są przykłady danych, o które mi chodzi" - i pokazuje mu trzy przykłady - "wygeneruj mi pięć tysięcy takich przykładów". I on to robi. A potem przy pomocy tego materiału trenuję swój mały model do poprawiania opisów w sklepach. My się wszyscy skupiliśmy na tym, że można sobie pogadać z wielkimi modelami językowymi, ale to tylko czubek góry lodowej. Takie sieci jak ChatGPT niesłychanie przyspieszają uczenie maszynowe. I przyspieszają wdrażanie innych modeli.
Wywodzę się z filozofii, więc nauki społeczne są mi bliskie i wiem, jak bardzo one są kulawe w porównaniu z fizyką czy biologią. Brakuje w nich powtarzalnych eksperymentów. To główny problem psychologii czy socjologii, że przecież nie można wykonywać eksperymentów na ludziach, to zaraz przywodzi na myśl najgorsze skojarzenia. "Jeśli dopuścimy masowo w Polsce posiadanie broni, to jak bardzo wzrośnie przestępczość? A może spadnie?" - nie możesz tego przetestować. Możliwe, że dzięki wielkim modelom językowym wreszcie będzie można symulować rozmaite zjawiska społeczne. Doktorat robiłem z logiki i zawsze uważałem, że język to nasza jedyna aparatura poznawcza, więc na nim trzeba się skupić. Wielkie modele językowe mocno mnie w tym utwierdzają, no bo spójrz na zjawisko, które nazywamy "ugruntowaniem języka".
Ugruntowaniem?
Już tłumaczę. Jeżeli byś mnie teraz zapytał, czy w tym pokoju jest nosorożec, to odpowiem: "Nie ma tu nosorożca". Bo rozejrzałem się dookoła, spojrzałem za siebie, mam jakieś doświadczenie życiowe i wiem, że nosorożec jest duży, więc nie schował się pod stołem. Czyli język odnosi się do świata, w którym żyję oraz zawiera w sobie kwestię prawdy i fałszu. "Tu nie ma teraz nosorożca". Ale zauważ, że wielkie modele językowe uczą się w kapsule, one znają tylko słowa i zdania - nic więcej. Teraz co prawda dojdą też dane graficzne, ale ChatGPT to system, który ma dostęp do danych tekstowych, a nie do świata realnego. I pomimo tego, że nie dysponuje wyjściem na zewnątrz - czyli nie posiada żadnych zmysłów, percepcji, a jedynie możliwość pewnej kombinatoryki językowej - potrafi rozwiązać zadanie, stwierdzić, czy mail jest spamem, czy nie, czyli logicznie nasz świat rozumie, mimo braku zmysłów.
Dlaczego modele językowe czasem zmyślają?
Bo nie wiedzą, kiedy się zatrzymać. Były uczone: oto masz słowo, oto masz zdanie, dokończ je. Dla nich nie istnieje prawda czy fałsz, istnieje jedynie kontynuacja. I dlatego jak czegoś nie wiedzą, to zmyślają.
"Rzeczą najbardziej uderzającą w wypowiedziach specjalistów zajmujących się sztuczną inteligencją jest ich bezradność" - pisze Andrzej Krajewski w „DGP". "Po raz pierwszy dosłownie nikt nie potrafi dokładnie odpowiedzieć na pytanie, jak się będzie zachowywał >>generator skutków<<, czyli sztuczna inteligencja, jeśli zyska samoświadomość swego istnienia". Nigdy nie byłem prostodusznym techno-entuzjastą, bo na technologię patrzę przez okulary Stanisława Lema, który mówił, że jest ona zmienną niezależną, czyli że człowiek nie może przewidzieć skutków jakiegoś wynalazku czy odkrycia. Teraz stoimy w czarnym korytarzu, mamy pochodnię, która nam oświetla kilka kroków do przodu, ale nie wiemy, co jest na końcu. Miesiąc temu powstał apel naukowców, którzy zajmują się uczeniem maszynowym: na pół roku powstrzymajmy badania, spróbujmy się połapać, jak to wszystko robić bezpiecznie i dopiero wtedy zdejmiemy zakaz - napisali. Tyle że to właśnie ciekawość jest wyznacznikiem cywilizacji Zachodu, chęć poznawania świata zawsze była tu dla nas najważniejsza. "Dopłyńmy do Indii z drugiej strony". I mimo całego mojego techno-sceptycyzmu ciekawość we mnie jednak przeważa.
Z czasów dzieciństwa pamiętam przewidywania, że za chwilę komputery przegonią ludzi. Jednak tak się nie stało. Mam czterdzieści parę lat i dopiero teraz widzę, że ta zapowiedź jednak może się ziścić. Wszyscy czekają na AGI - ogólną sztuczną inteligencję - która by mogła wykonywać zadania tak samo jak człowiek. Jeszcze do tego miejsca nie doszliśmy, ale już je widać na horyzoncie. Przeżywam ten błyskawiczny marsz bardzo osobiście, codziennie przeglądam wpisy i teksty osób, które zajmują się uczeniem maszynowym, codziennie widzę nowe artykuły naukowe, nowe pomysły na GitHubie, które odsłaniają zupełnie zaskakujące perspektywy. Gdybyśmy rozmawiali dwa lata temu należałbym raczej do sceptyków, ale gdy podłączyłem się jako programista do ChataGPT - jeszcze zanim został upubliczniony - zobaczyłem, że dzieje się coś nowego, coś, czego nie rozumiemy, co odsłania nowe pola badawcze i stawia mnóstwo nowych pytań. Stanisław Lem zawsze podkreślał, że kiedy odkrywamy nowy fenomen, to powstają całe oceany niezrozumiałych zagadnień. Na początku wszystkim się wydawało, że wielkie modele językowe to tylko gargantuiczne papugi do powtarzania słów, a teraz widać, że one mogą zmienić naszą cywilizację.
No to zacytuję ten list naukowców, o którym przed chwilą wspomniałeś: "Czy powinniśmy rozwijać nieludzkie umysły, które w końcu mogą przewyższyć liczebnie, przechytrzyć, zdezaktualizować i zastąpić nas? Czy powinniśmy ryzykować utratę kontroli nad naszą cywilizacją? Takie decyzje nie mogą być delegowane na niewybieralnych liderów technologicznych. Potężne systemy sztucznej inteligencji powinny być rozwijane tylko wtedy, gdy mamy pewność, że ich skutki będą pozytywne, a związane z nimi ryzyko będzie możliwe do opanowania".
Też widzę mnóstwo zagrożeń, ale to można było powiedzieć o wielu nowych technologiach. Na początku lat 2000 o internecie mówiło się wyłącznie entuzjastycznie, że oto nastanie wreszcie wolność słowa, już nie będzie zniewolonych społeczeństw, bo wszyscy zaczniemy wymieniać swobodnie myśli, a Stanisław Lem był wtedy w kontrze do takich opinii i mówił, że internet przyniesie zalew bełkotu i poplątanie języków. Przewidział dezinformację, której skala się powiększyła i polaryzację, która wzrosła.
Gdybyś miał przepowiedzieć główne zagrożenie związane z AI to co by to było?
Monopolizacja modeli językowych przez wielkie koncerny technologiczne. I to, że modele będą trenowane i wychowywane przy braku przejrzystości. OpenAI - czyli właściciel ChataGPT - powstał jako fundacja, pamiętam ich pierwsze manifesty dotyczące walki o to, żeby takie firmy jak Google nie położyły łap na rozwoju sztucznej inteligencji. Teraz wypuścili model GPT-4 i po raz pierwszy nie poszła z tym równolegle publikacja artykułu naukowego i raportu technologicznego, nie dzielą się już szczegółami architektury swojej sieci, chcą coraz więcej zasłonić. A przecież mówimy o systemach ogólnego użytku i wielkiego wpływu. Jeśli wielkie modele językowe mogą zmienić naszą kulturę, a jednocześnie monopol na ich wychowywanie dostaną giganci z Doliny Krzemowej, to modele mogę zostać wytrenowane i wychowane dla dobra firm, a nie społeczeństw. Wystarczy takie "dziecko" nauczyć, że zysk jest najważniejszy albo że optymalizacja kosztów to naczelna zasada kierująca porządnym życiem.
***
Dr Leszek Bukowski (1979) jest specjalistą od sztucznej inteligencji i uczenia maszynowego, doktorem filozofii. Przez wiele lat pracował na uczelniach. Obecnie współpracuje z firmami przy wdrażaniu rozwiązań z zakresu uczenia maszynowego.
Trochę bardziej konkretnych informacji dla tych, którzy chcą się wgłębić w temat "cechy emergentnych" (co za koszmarne tłumaczenie): Emergent Abilities of Large Language Models - ->link<- oraz ekstrakt z paper o PaLM: ->link<-
Dla tych, którzy raczej oglądają niż czytają - czy mamy już AGI:
Jak proste aktualnie w implementacji są systemy GPT: ->link<- albo ->link<- (najmniejsze mają pod 100 linii kodu w Pythonie)
Wyjaśnienie co te kody robią: ->link<- który kieruje na przykład do: ->link<- tu wyjaśnienie w formie wideo:
Dla tych, którzy chcą odpalić GPT lokalnie u siebie na kompie: ->link<- albo dla słabszych kompów: ->link<-
Dla tych, którzy chcą na takim kodzie postawić komercyjny projekt: ->link<-
Coś znacznie silniejsze niż ChatGPT: AutoGPT, który odpala wielu agentów GPT do realizacji postawionego wysoko-poziomowo celu (ma dostęp do netu przy realizacji zadania): ->link<- Aktualnie poprzez powódź użytkowników i obciążenie chyba nie ma darmowego dostępnego rozwiązania. Raz na jakiś czas działa ->link<-
Jeżeli ktoś chce implementować swoje AutoGPT: ->link<-
Jeżeli ktoś chce implementować GPT ale bardziej komercyjnie i rozszerzalnie niż pluginy: ->link<-
Większość systemów LLM to sieci neuronowe sequence-to-sequence, które mają ograniczoną długość listy tokenów wejściowych. Ale pojawiąją się nowe propozycje jak to rozszerzyć z aktualnych tysięcy tokenów do milionów np. ->link<-
/media/img/posts/2015/02/labor_gap/original.png)
