A dialogue bot with a personality
Project description
Dataset
hypothesis 1
использовал CausalLM и Seq2Seq. Seq2Seq показал себя лучше.
Seq2Seq:
входная последовательность: сконкатенированная персона + chat: + последняя реплика от пользователя
таргет: ответ от пользователя
CausalLM:
входная последовательность: сконкатенированная персона + последняя реплика от пользователя+ответ от пользователя
таргет: входная последовательность сдвинутая на 1 вправо
hypothesis 2
Seq2Seq:
входная последовательность:
<bos> <persona> persona_fact[0]<p_sep>persona_fact[1]<p_sep>persona_fact[2]<p_sep>persona_fact[3]<p_sep>persona_fact[4]<p_sep> <chat> реплика[-6]<с_sep>реплика[-5]<с_sep>реплика[-4]<с_sep>реплика[-3]<с_sep>реплика[-2]<response>
таргет: реплика[-1] <eos>
CausalLM:
входная последовательность:
<bos> <persona> persona_fact[0]<p_sep>persona_fact[1]<p_sep>persona_fact[2]<p_sep>persona_fact[3]<p_sep>persona_fact[4]<p_sep> <chat> реплика[-6]<с_sep>реплика[-5]<с_sep>реплика[-4]<с_sep>реплика[-3]<с_sep>реплика[-2]<response>реплика[-1]<eos_token>
таргет: входная последовательность сдвинутая на 1 вправо
<с_sep> - специальный токен, который разделяет реплики.
<p_sep> - специальный токен, который разделяет персону.
<chat> - специальный токен, который разделяет реплики от персоны.
<persona> - специальный токен, который разделяет персону от реплик.
<response> - специальный токен, который разделяет реплики от ответа.
hypothesis 3
попробовать случайно перемешать порядок предложений в персоне. в остальном все остальное также как и в hypothesis 2
hypothesis 4
Seq2Seq:
входная последовательность:
<bos> <persona> persona_fact[0]persona_fact[1]persona_fact[2]persona_fact[3]persona_fact[4]<sep>реплика[-6] реплика[-5] ... <query>реплика[-2]<query/><eos>
таргет:<bos><response>реплика[-1]<response/><eos>
<sep> - специальный токен, раздедяющий токен
<query> - специальный токен, который оборачивает последнюю реплику пользователя
<query/> -
<response> - специальный токен, оборачивает ответ пользователя
<response/>
hypothesis 5
тоже самое что и в hypothesis 4, но теперь исполььзую датасет FoCus
python3 -m build
twine upload dist/*
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
dimweb_persona_bot-0.0.5.tar.gz
(52.7 kB
view hashes)
Built Distribution
Close
Hashes for dimweb_persona_bot-0.0.5-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 3b2a918fe3e7c40ccfcf625eb534d02302e6dc073ce91a893a93bf461d26e723 |
|
MD5 | 8a83dfd2a42f831309c1aba505ac410d |
|
BLAKE2b-256 | 6deb7ba709e52ed108fe2f721e23371e50146115eecd756e0118b074ea6e1021 |